[논문 리뷰] How Powerful are Graph Neural Networks?

Keyulu Xu, Weihua Hu외 2명|arXiv (Cornell University)|2018. 10. 01.

Advanced Graph Neural Networks참고 문헌 40인용 수 386

한 줄 요약

이 논문은 GNN의 표현력(expressive power)을 분석하여 Weisfeiler-Lehman (WL) 테스트만큼 강력할 수 있음을 보이고, WL 수준의 표현력을 달성하는 Graph Isomorphism Network (GIN)을 제시하며, 그래프 분류 벤치마크를 통해 이론을 검증한다.

ABSTRACT

Graph Neural Networks (GNNs) are an effective framework for representation learning of graphs. GNNs follow a neighborhood aggregation scheme, where the representation vector of a node is computed by recursively aggregating and transforming representation vectors of its neighboring nodes. Many GNN variants have been proposed and have achieved state-of-the-art results on both node and graph classification tasks. However, despite GNNs revolutionizing graph representation learning, there is limited understanding of their representational properties and limitations. Here, we present a theoretical framework for analyzing the expressive power of GNNs to capture different graph structures. Our results characterize the discriminative power of popular GNN variants, such as Graph Convolutional Networks and GraphSAGE, and show that they cannot learn to distinguish certain simple graph structures. We then develop a simple architecture that is provably the most expressive among the class of GNNs and is as powerful as the Weisfeiler-Lehman graph isomorphism test. We empirically validate our theoretical findings on a number of graph classification benchmarks, and demonstrate that our model achieves state-of-the-art performance.

연구 동기 및 목표

• 그래프를 위한 GNN의 표현력(capacity)을 이해할 필요성을 동기 부여하고 형식화한다.
• 일반적인 GNN 변형이 그래프 구조를 구분하는 능력을 특징짓는다.
• WL-테스트의 힘과 일치하는 최대한으로 강력한 GNN(GIN)을 제안하고 벤치마크에서 실험적으로 검증한다.
• 평균(mean), 최대값(max) 등의 덜 강력한 aggregator와 1-layer 퍼셉트론의 한계를 설명한다.
• 표현력의 역할을 강조하면서 그래프 분류 태스크에서 최첨단 또는 경쟁력 있는 성능을 입증한다.

제안 방법

• 이웃 특성의 다집합(functions)으로 GNN Aggregation을 모델링하고 이들의 injectiveness를 분석한다.
• 어떤 aggregation 기반 GNN도 WL 테스트( WL distinguishability )만큼 강력할 수 있음을 보인다.
• 이웃 집계 및 그래프 읽기(readout)가 모두 injective일 때 WL 수준의 힘을 얻을 수 있음을 입증한다.
• 깊은 다중집합(deep multisets)을 통한 합(sum)-기반의 injective 다중집합 함수와 MLP를 이용해 Graph Isomorphism Network(GIN)을 개발한다(Lemma 5, Corollary 6).
• 모든 레이어에서 READOUT을 연결해 다층 깊이의 정보를 포착하는 그래프 수준의 읽기(readout)를 제안한다(Jumping Knowledge 스타일).
• GIN과 평균/최댓값 풀링, 1-layer 퍼셉트론을 사용하는 변형들을 비교하여 표현력의 차이를 설명한다.

실험 결과

연구 질문

• RQ1 GNN이 Weisfeiler-Lehman 테스트만큼 그래프 구조를 효과적으로 구분할 수 있는가?
• RQ2 GNN이 WL만큼 강력해지려면 어느 Aggregation/Readout 조건이 필요한가?
• RQ3 일반적인 GNN 변형(GCN, Mean/Max 풀링을 사용하는 GraphSAGE 등)이 간단한 그래프 구조를 구분하는 데 어떤 성능을 보이는가?
• RQ4 WL 수준의 표현력을 얻고 학습이 가능한 간단한 아키텍처(GIN)를 설계할 수 있는가?
• RQ5 더 강력한 GNN이 그래프 분류 벤치마크에서 더 나은 성능으로 이어지는가?

주요 결과

• GNN은 그래프 구조를 구분하는 데 WL 테스트만큼 강력하거나 그 이하이다.
• 이웃 집계 및 그래프 읽기가 injective일 경우 GNN은 WL 테스트만큼 강력해질 수 있다.
• mean 또는 max 풀링을 사용하는 GCN 및 GraphSAGE와 같은 일반적인 변형은 특정한 간단한 그래프 구조를 구분하지 못한다.
• GIN은 MLP로 매개된 injective 다중집합 함수(sum 기반)로 WL 수준의 표현력을 달성한다(깊은 다중집합, Lemma 5).
• 레이어별 READOUT을 다층 깊이에 걸쳐 그래프 수준에서 수행하면 WL 유사한 판별력을 보존하고 벤치마크에서 성능이 향상된다.
• 실험 결과 GIN이 다수의 그래프 분류 데이터셋에서 기준값과 같거나 이를 상회하는 성능을 기록한다.