[논문 리뷰] A Survey on The Expressive Power of Graph Neural Networks

Ryoma Sato|arXiv (Cornell University)|2020. 03. 09.

Advanced Graph Neural Networks참고 문헌 91인용 수 84

한 줄 요약

본 리뷰는 그래프 신경망(GNN)의 표현력, WL 테스트로 드러난 한계, 그리고 GIN, k-GNN, 및 고차 불변/동등 GNN을 포함한 명시적 검증 가능한 강력한 변형들을 분석한다.

ABSTRACT

Graph neural networks (GNNs) are effective machine learning models for various graph learning problems. Despite their empirical successes, the theoretical limitations of GNNs have been revealed recently. Consequently, many GNN models have been proposed to overcome these limitations. In this survey, we provide a comprehensive overview of the expressive power of GNNs and provably powerful variants of GNNs.

연구 동기 및 목표

• 노드 및 그래프 분류 작업에서 GNN이 어떤 그래프를 구분할 수 있는지 평가한다.
• GNN과 Weisfeiler–Lehman (WL) 알고리즘 간의 연관성을 설명한다.
• 표준 GNN 한계를 극복하는 증명 가능한 강력한 변형들을 검토한다.
• GNN, WL, 분산 로컬 알고리즘 간의 XS 대응 관계를 강조한다.

제안 방법

• GNN의 표준 메시지 전달 공식화와 그래프를 구분하는 데의 한계를 설명한다.
• 1-WL 및 k-WL 알고리즘과 GNN의 관계를 도입한다.
• injective aggregators를 사용하여 1-WL 힘을 얻는 Graph Isomorphism Networks (GINs)를 제시한다.
• 집합 k-WL 및 k-FWL과의 연결고리를 통해 고차 GNN(k-GNNs)을 논의한다.
• 고차 불변/동등 네트워크의 universality 속성과 이를 outline한다.
• 고차 구조가 순열군에 대해 universality를 가능하게 하는 방법을 설명한다.

실험 결과

연구 질문

• RQ1 일반 GNN들이 구분할 수 있는 그래프는 무엇이며 고유의 한계는 무엇인가?
• RQ2 GNN과 WL 알고리즘의 표현력 측면에서의 관계는 무엇인가?
• RQ3 그래프 동형성 task에서 WL(이상으로)까지 GNN을 강력하게 만드는 아키텍처나 변형은 무엇인가?
• RQ4 고차 또는 불변/동등 GNN의 메모리 사용 등 트레이드오프와 실용성은 어떠한가?

주요 결과

• 일반 메시지 전달 GNN은 1-WL 알고리즘보다 더 강력하지 않다.
• GINs는 injective aggregation을 사용함으로써 1-WL의 표현력에 도달할 수 있다.
• k-GNNs(집합 k-WL 기반)는 집합 k-WL과 일치할 수 있으며, 더 높은 표현력은 메모리 비용이 든다.
• 고차 불변/동등 네트워크는 universality 결과를 제공하여 노드 수에 독립적인 불변/동등 함수 모델링을 가능하게 한다.
• 1-WL ≈ 2-WL의 계층이 존재하며, k-WL이 WL의 힘을 확장하고, k-GNNs가 practical trade-offs를 통해 set k-WL 힘을 구현한다.