[논문 리뷰] Relational Pooling for Graph Representations

Ryan L. Murphy, Balasubramaniam Srinivasan외 2명|arXiv (Cornell University)|2019. 03. 06.

Advanced Graph Neural Networks참고 문헌 63인용 수 38

한 줄 요약

Relational Pooling(RP)은 순열 불변 프레임워크를 제공하며 다양한 신경망 아키텍처와 결합하여 그래프의 최대 표현력을 달성할 수 있고, 경우에 따라 WL-GNN보다도 우수할 수 있으며 RP-GNN의 힘을 강화합니다.

ABSTRACT

This work generalizes graph neural networks (GNNs) beyond those based on the Weisfeiler-Lehman (WL) algorithm, graph Laplacians, and diffusions. Our approach, denoted Relational Pooling (RP), draws from the theory of finite partial exchangeability to provide a framework with maximal representation power for graphs. RP can work with existing graph representation models and, somewhat counterintuitively, can make them even more powerful than the original WL isomorphism test. Additionally, RP allows architectures like Recurrent Neural Networks and Convolutional Neural Networks to be used in a theoretically sound approach for graph classification. We demonstrate improved performance of RP-based graph representations over state-of-the-art methods on a number of tasks.

연구 동기 및 목표

• WL 기반 GNN보다 vertex/edge 특성을 가진 그래프에 대해 가장 강력한 그래프 표현 프레임워크를 동기화합니다.
• RP(Relational Pooling)를 그래프 표현 위의 순열 불변 집계로 제안합니다.
• RP가 다양한 신경망 아키텍처(RNN, CNN, MLP, GNN)와 결합될 수 있으며 이론적으로 최대 그래프 표현력을 달성할 수 있음을 보입니다.
• RP를 보급 가능한 근사 방법으로 제시하여 확장 가능한 그래프 분류를 가능하게 하고 경험적 개선을 입증합니다.

제안 방법

• RP를 모든 정점 재표상에 대해 순열에 민감한 함수를 평균화하는 공동 순열 불변 함수로 정의합니다(Equation 1).
• RP를 이분 그래프에 대해 별도의 RP를 통해 확장합니다(Equation 2).
• 내부 함수가 충분히 표현력이 있으면 RP가 유한 그래프에 대해 최대 표현력을 달성한다는 것을 보입니다(Theorem 2.1).
• 대칭인 이웃 구조를 구별하기 위해 순열에 민감한 식별자를 임베딩하여 WL-GNN을 강화하고 RP-GNN을 형성합니다(Equation 5; Theorem 2.2).
• 내부 함수에 대한 신경망 아키텍처(RNN, CNN, GNN 등)와 RP의 통합 방법을 설명합니다.
• 계산 복잡도를 줄이기 위한 타당성 전략: 표준 방향성(canonical orientations), pi-SGD, 및 k-ary RP를 제시합니다(Sections 2.3.1–2.3.3).

실험 결과

연구 질문

• RQ1 Relational Pooling이 WL 기반 GNN를 초월하는 가장 강력한 그래프 표현력을 제공하여 비동형 그래프를 구별할 수 있는가?
• RQ2 RP를 기존 신경망 아키텍처와 통합하여 그래프 분류의 성능을 높이면서도 계산 가능성을 유지할 수 있는가?
• RQ3 근사 방법(표준 방향성, pi-SGD, k-ary RP)이 WL-GNN보다 실제로 표현력을 충분히 유지하는가?
• RQ4 RP-GNN과 표준 WL 테스트 간의 표현력 증가가 이론적으로 얼마나 크나?
• RQ5 RP가 비이분 그래프에 대해 결합 불변성과 별도 불변성으로 일반화되는 방식은 어떻게 되는가?

주요 결과

• RP는 한정된 정점/간선 속성 집합을 가진 그래프에 대해 최대 표현력의 순열 불변 표현을 정의합니다(Theorem 2.1).
• RP-GNN은 표준 WL-GNN보다 엄격하게 더 표현력이 있으며 내부 함수로 GIN을 사용할 때 WL 테스트보다 강력할 수 있습니다(Theorem 2.2).
• 순열에 민감한 내부 함수를 RP 내에서 활용하여 더 강력한 그래프 표현을 만들 수 있습니다.
• 근사 RP 방법(표준 방향성, pi-SGD, k-ary RP)은 그래프 분류에 적합한 계산 가능성과 높은 표현력을 제공하는 근사 방법입니다.
• RP는 다양한 아키텍처(RNN, CNN, MLP, GNN)로 구현되어 유연하고 강력한 그래프 표현을 구축합니다.