[논문 리뷰] Automorphic Equivalence-aware Graph Neural Network

Fengli Xu, Quanming Yao외 2명|arXiv (Cornell University)|2020. 11. 09.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 논문은 학습 가능한 AE 인식 집합기와 부분그래프 템플릿을 사용하여 노드 이웃의 자동 동치성(AE)을 명시적으로 모델링하는 새로운 그래프 신경망 GRAPE를 제안한다. Ego-centered automorphic equivalence(Ego-AE)를 도입하고, 자동 부분그래프 템플릿 탐색을 위한 유전 알고리즘을 설계하며, 이론적으로 GRAPE의 표현력을 증명하여 실제 그래프에서 기존 SOTA GNN보다 최대 26.7%의 정확도 향상을 달성한다.

ABSTRACT

Distinguishing the automorphic equivalence of nodes in a graph plays an essential role in many scientific domains, e.g., computational biologist and social network analysis. However, existing graph neural networks (GNNs) fail to capture such an important property. To make GNN aware of automorphic equivalence, we first introduce a localized variant of this concept -- ego-centered automorphic equivalence (Ego-AE). Then, we design a novel variant of GNN, i.e., GRAPE, that uses learnable AE-aware aggregators to explicitly differentiate the Ego-AE of each node's neighbors with the aids of various subgraph templates. While the design of subgraph templates can be hard, we further propose a genetic algorithm to automatically search them from graph data. Moreover, we theoretically prove that GRAPE is expressive in terms of generating distinct representations for nodes with different Ego-AE features, which fills in a fundamental gap of existing GNN variants. Finally, we empirically validate our model on eight real-world graph data, including social network, e-commerce co-purchase network, and citation network, and show that it consistently outperforms existing GNNs. The source code is public available at https://github.com/tsinghua-fib-lab/GRAPE.

연구 동기 및 목표

• 기존 GNN이 노드 이웃 간 자동 동치성(AE)을 구분하는 데에 초래하는 근본적 한계를 해결하기 위해.
• GNN의 국소적 메시지 전파 메커니즘과 부합되면서도 구조적 역할 정보를 유지할 수 있도록 국소화된 AE 변형인 Ego-centered automorphic equivalence(Ego-AE)를 개발하기 위해.
• Ego-AE 특징에 기반해 노드 표현을 구분할 수 있도록 보장하는 증명 가능한 표현력을 갖춘 GNN 아키텍처(GRAPE)를 설계하기 위해.
• 수동으로 설계된 디자인에 의존하지 않고도 최적의 부분그래프 템플릿을 자동으로 탐색할 수 있는 방법을 제안하기 위해.
• 사회 네트워크, 인용 네트워크, 전자상거래 공구매 그래프를 포함한 다양한 실제 그래프 데이터셋에서 일관된 성능 향상을 입증하기 위해.

제안 방법

• 부분그래프 템플릿을 사용해 노드 이웃을 매핑하고, 그래프 자동 동치를 통해 이웃을 AE 집합으로 분할함으로써 Ego-centered automorphic equivalence(Ego-AE)를 도입한다.
• 다른 Ego-AE 집합에 속한 이웃에 대해 서로 다른 가중치를 할당하는 학습 가능한 AE 인식 집합기를 설계하여 구조적 역할 간의 상호의존성을 모델링한다.
• 다양한 Ego-AE 집합의 표현을 압축-흥장 모듈을 통해 융합하여 복잡한 구조적 패턴을 포착한다.
• 선택, 교차, 변이를 반복적으로 적용하여 후보 템플릿을 개선하는 유전 알고리즘을 제안하여 고성능 부분그래프 템플릿을 자동으로 탐색한다.
• 유사한 부분그래프 간의 유사성을 활용해 계산 비용을 줄이기 위해 증분 알고리즘을 도입해 부분그래프 매칭을 가속화한다.
• 이론적 분석을 통해 GRAPE가 서로 다른 Ego-AE 특징을 가진 노드에 대해 구별 가능한 표현을 생성할 수 있음을 증명하며, 기존 MPNN의 한계를 극복함을 보여준다.

실험 결과

연구 질문

• RQ1 GNN이 노드 이웃 간 자동 동치성을 증명 가능한 표현력으로 구분할 수 있는가?
• RQ2 GNN의 인도티브 바이어스에 맞게 자동 동치성을 국소화하면서도 구조적 역할 정보를 유지할 수 있는가?
• RQ3 수동 설계 없이 데이터 기반 접근을 통해 효과적인 부분그래프 템플릿을 자동으로 발견할 수 있는가?
• RQ4 Ego-AE 인식을 통합함으로써 다양한 실제 그래프 데이터셋에서 일관된 성능 향상이 달성되는가?
• RQ5 유전 알고리즘이 GNN 성능 향상을 위한 부분그래프 템플릿 최적화에 얼마나 효율적이고 효과적인가?

주요 결과

• GRAPE는 사회 네트워크, 인용 네트워크, 전자상거래 공구매 그래프를 포함한 실제 데이터셋에서 기존 GNN보다 최대 26.7% 높은 정확도를 기록한다.
• Lehigh 데이터셋에서 자동으로 탐색된 템플릿을 사용한 GRAPE는 3000초 후 34.5%의 정확도를 달성했으며, 최고의 베이스라인(BO+ESU)보다 1.5% 높고 수작업 템플릿 성능에 가까운 성능을 보였다.
• 증분 매칭을 통한 유전 알고리즘은 기존 ESU 대비 매칭 시간을 최대 96% 감소시켰으며, 증분 매칭은 24.0~134.3초, ESU는 648.7~2592.0초 소요되었다.
• 사례 연구 결과, GRAPE는 사회적 유사성(homophily)을 효과적으로 포착했으며, Ego-AE 집합 내 상위 레이블 중 45.3~46.0%가 에고 노드의 레이블과 일치하여 구조적 역할을 잘 모델링하고 있음을 시사한다.
• 모델의 성능은 다양한 데이터셋에서 뛰어난 안정성을 보였다: 3000초의 최적화 후 Hamilton에서 33.8%, Lehigh에서 27.9%, Rochester에서 25.6%, JHU에서 30.3%, Amherst에서 34.5%의 정확도를 기록했다.
• 수작업으로 설계된 부분그래프 템플릿은 Lehigh에서 22.6~26.1%의 정확도를 기록하여 템플릿 설계의 중요성을 확인하고 자동 탐색의 필요성을 검증한다.