[논문 리뷰] Provably Powerful Graph Networks

Haggai Maron, Heli Ben-Hamu외 2명|arXiv (Cornell University)|2019. 05. 27.

Advanced Graph Neural Networks참고 문헌 52인용 수 18

한 줄 요약

이 논문은 메시지 전달 GNN의 제한을 받는 1-WL 이sovomorphism 테스트보다 엄격히 강력한 3-WL 그래프 이sovomorphism 테스트의 표현력을 갖는 간단하고 확장 가능한 그래프 신경망(GNN)을 제안한다. 이 모델은 다층 퍼셉트론(MLP)과 단일 행렬 곱셈 레이어를 조합하여 구현되며, 이론적으로는 3-WL 테스트의 표현력과 동일한 성능을 보이며, 실용적인 효율성과 상태의 성능을 동시에 확보한다. 그래프 분류 및 회귀 벤치마크에서 최신 기술을 초월한다.

ABSTRACT

Recently, the Weisfeiler-Lehman (WL) graph isomorphism test was used to measure the expressive power of graph neural networks (GNN). It was shown that the popular message passing GNN cannot distinguish between graphs that are indistinguishable by the 1-WL test (Morris et al. 2018; Xu et al. 2019). Unfortunately, many simple instances of graphs are indistinguishable by the 1-WL test. In search for more expressive graph learning models we build upon the recent k-order invariant and equivariant graph neural networks (Maron et al. 2019a,b) and present two results: First, we show that such k-order networks can distinguish between non-isomorphic graphs as good as the k-WL tests, which are provably stronger than the 1-WL test for k>2. This makes these models strictly stronger than message passing models. Unfortunately, the higher expressiveness of these models comes with a computational cost of processing high order tensors. Second, setting our goal at building a provably stronger, simple and scalable model we show that a reduced 2-order network containing just scaled identity operator, augmented with a single quadratic operation (matrix multiplication) has a provable 3-WL expressive power. Differently put, we suggest a simple model that interleaves applications of standard Multilayer-Perceptron (MLP) applied to the feature dimension and matrix multiplication. We validate this model by presenting state of the art results on popular graph classification and regression tasks. To the best of our knowledge, this is the first practical invariant/equivariant model with guaranteed 3-WL expressiveness, strictly stronger than message passing models.

연구 동기 및 목표

• 메시지 전달 GNN이 1-WL 이sovomorphism 테스트로 인해 제한받는 것보다 엄격히 강력한 표현력을 갖는 그래프 신경망 모델을 개발하는 것.
• 표현력이 높으면서도 계산적으로 실용적이고 확장 가능하며, 고차원 텐서 연산의 높은 비용을 피하는 모델을 설계하는 것.
• 3-WL 테스트와 동일한 표현력의 증명 가능한 이론적 보장을 제공하는 것. 이는 1-WL 및 2-WL보다 더 강력하다.
• 표준 그래프 학습 벤치마크에서 모델을 실증적으로 검증하여 분류 및 회귀 과제에서 최신 기술 수준의 성능을 보여주는 것.

제안 방법

• 모델은 노드 특징에 다층 퍼셉트론(MLP)을 적용하고, 인접행렬 또는 특징 행렬에 대해 단일 행렬 곱셈 레이어(즉, 이차 연산)를 번갈아 적용하는 단순한 아키텍처를 사용한다.
• 표현력의 이론적 분석을 가능하게 하기 위해 멀티셋의 이웃 구조를 표현하기 위해 파wr-합 다중대칭다항식(PMP)을 활용한다.
• k차원 GNN에서 사용하는 고차원 텐서의 계산 부담을 피하기 위해 2차 텐서(즉, n×n 행렬)에서 작동하도록 설계된다.
• 이론적 분석을 통해 모델이 3-WL 테스트의 표현력을 달성함을 증명하며, 이는 메시지 전달 GNN을 제한하는 1-WL 테스트보다 엄격히 강력하다.
• 노드 순서의 변화에 관계없이 일관된 표현을 보장하기 위해 순열에 대해 불변 및 등변(invariant and equivariant)하도록 아키텍처를 구성한다.
• 표준 딥러닝 최적화 기법(학습률 스케줄링 및 조기 정지 포함)을 사용하여 모델을 훈련시키며, 평가에 표준 그래프 벤치마크를 활용한다.

실험 결과

연구 질문

• RQ1 메시지 전달 GNN이 1-WL 이sovomorphism 테스트로 인해 제한받는 것보다 엄격히 강력한 표현력을 갖는 단순하고 확장 가능한 GNN 아키텍처를 개발할 수 있는가?
• RQ2 단지 2차 텐서와 표준 딥러닝 구성 요소만을 사용하여 3-WL 표현력을 갖는 GNN 모델을 구성할 수 있는가?
• RQ3 이 모델은 실제 세계의 그래프 분류 및 회귀 과제에서 최신 기술 대비 어떻게 성능을 내는가?
• RQ4 다른 더 풍부한 등변 선형 레이어나 단순한 MLP 모델에 비해, 행렬 곱셈 레이어를 통합함으로써 일반화 및 표현력에 어떤 영향을 미치는가?

주요 결과

• 제안된 모델는 3-WL 표현력을 증명적으로 확보하여, 1-WL 표현력으로 제한되는 메시지 전달 GNN보다 엄격히 강력함을 입증하였다.
• 8노드 그래프 분류 벤치마크에서, 8개 데이터셋 중 6개에서 이전의 모든 방법들 중 상위 3위 이내로 랭크되었다.
• QM9 그래프 회귀 과제에서, 단일 공유 네트워크를 사용할 경우 12개 물리적 성질 중 5개에서 가장 낮은 평균 절대 오차를 기록했으며, 성질별 별도의 네트워크를 사용할 경우 12개 중 9개에서 최고 성능을 기록했다.
• 단지 행렬 곱셈과 MLP(MLP)만을 사용한 모델이 전체 선형 등변 레이어를 갖는 모델(MP+LIN)과 유사한 일반화 성능을 보였지만, 계산 비용은 크게 낮았다.
• 표준 MLP 베이스라인 및 전체 선형 등변 기저를 사용하는 모델보다도 성능이 뛰어나, 행렬 곱셈 레이어가 표현력과 일반화에 핵심적인 역할을 한다는 것을 시사한다.
• 사회 네트워크, 분자, 화학 화합물 등 다양한 데이터셋에서 성능이 우수했으며, 이는 넓은 적용 가능성과 확장성의 증거이다.