[논문 리뷰] Expressive Power of Invariant and Equivariant Graph Neural Networks

Waïss Azizian, Marc Lelarge|arXiv (Cornell University)|2020. 06. 28.

Advanced Graph Neural Networks참고 문헌 32인용 수 22

한 줄 요약

이 논문은 관측 가능한 그래프 신경망(GNN)에 대한 최초의 근사 보장을 확립하기 위해, 불변 및 등변 GNN 아키텍처의 표현력을 비교할 수 있는 이론적 프레임워크를 도입한다. 이는 순서 $k$의 패러다임 GNN(FGNN)가 같은 순서를 가진 텐서 기반 GNN들 중에서 가장 표현력이 뛰어나며, $(k+1)$-WL보다 덜 강력한 모든 함수를 근사할 수 있음을 증명한다. 또한 기존 방법들과 비교해 NP-난해한 이차할당문제(Quadratic Assignment Problem)에서 뛰어난 성능을 보인다.

ABSTRACT

Various classes of Graph Neural Networks (GNN) have been proposed and shown to be successful in a wide range of applications with graph structured data. In this paper, we propose a theoretical framework able to compare the expressive power of these GNN architectures. The current universality theorems only apply to intractable classes of GNNs. Here, we prove the first approximation guarantees for practical GNNs, paving the way for a better understanding of their generalization. Our theoretical results are proved for invariant GNNs computing a graph embedding (permutation of the nodes of the input graph does not affect the output) and equivariant GNNs computing an embedding of the nodes (permutation of the input permutes the output). We show that Folklore Graph Neural Networks (FGNN), which are tensor based GNNs augmented with matrix multiplication are the most expressive architectures proposed so far for a given tensor order. We illustrate our results on the Quadratic Assignment Problem (a NP-Hard combinatorial problem) by showing that FGNNs are able to learn how to solve the problem, leading to much better average performances than existing algorithms (based on spectral, SDP or other GNNs architectures). On a practical side, we also implement masked tensors to handle batches of graphs of varying sizes.

연구 동기 및 목표

• 불변 및 등변 GNN 아키텍처의 표현력을 비교하기 위한 이론적 프레임워크를 개발하기 위해.
• 쌍대 그래프 구별성 이상의 실용적인 GNN에 대한 근사 보장을 제공하기 위해.
• 순서 $k$의 패러다임 GNN(FGNN)가 같은 순서를 가진 텐서 기반 GNN들 중에서 가장 표현력이 뛰어나다는 것을 입증하기 위해.
• 다양한 크기의 그래프를 다룰 수 있는 GNN으로의 보편성 결과를 확장하기 위해.
• 이론적 결과를 도전적인 조합 최적화 문제인 이차할당문제(QAP)에서 실증적으로 검증하기 위해.

제안 방법

• 저자들은 대칭 함수로의 스톤-바이어슈트라스 정리를 확장하여, 불변 및 등변 GNN에 대한 근사 이론을 가능하게 한다.
• 표현력 수준을 측정하기 위해 위스플러이러-레만(WL) 테스트를 기반으로 한 그래프 불변량의 계층을 정의한다. 특히 $(k+1)$-WL을 사용한다.
• 고차원 상호작용을 가능하게 하기 위해 행렬 곱셈을 추가한 텐서 기반 GNN인 $k$-FGNN을 도입한다.
• 서브대수와 닫힘 논증을 사용하여 $k$-FGNN이 $(k+1)$-WL보다 덜 강력한 모든 불변 또는 등변 함수를 근사할 수 있음을 증명한다.
• 다양한 크기의 그래프를 처리하기 위해 그래프 공간에 최종 위상 또는 그래프 편집 거리를 도입함으로써, 다양한 크기의 그래프에 대한 보편적 근사가 가능하도록 한다.
• 실제로 크기가 다른 그래프 배치를 효율적으로 처리하기 위해 마스크된 텐서를 구현한다.

실험 결과

연구 질문

• RQ1 메시지 전파 GNN, $k$-LGNN, $k$-FGNN와 같은 실용적인 GNN 아키텍처의 표현력은 불변 및 등변 함수를 근사할 때 어떻게 되는가?
• RQ2 일관된 크기의 그래프에 대해, 하나의 GNN 아키텍처가 $(k+1)$-WL보다 덜 강력한 모든 함수를 근사할 수 있는가?
• RQ3 $k$-FGNN의 표현력은 $k$-LGNN 및 메시지 전파 GNN과 같은 다른 아키텍처와 비교해 어떻게 되는가?
• RQ4 $k$-FGNN은 기존의 GNN이나 고전적 알고리즘보다 NP-난해 문제인 이차할당문제를 더 효과적으로 해결할 수 있는가?
• RQ5 유한한 텐서 순서에 제한된 GNN에서 보편성의 이론적 기초는 무엇인가?

주요 결과

• 순서 $k$의 패러다임 GNN(FGNN)는 주어진 $k$에 대해 가장 표현력이 뛰어난 텐서 기반 GNN 아키텍처이며, $(k+1)$-WL보다 덜 강력한 모든 함수를 근사할 수 있다.
• 논문은 $k$가 무한대에 가까워질수록 $k$-FGNN이 보편성을 확보함을 증명하며, 이는 이론적으로 접근이 어려운 GNN 클래스에 대한 이전의 보편성 결과를 확장한다.
• 불변의 경우, $k$-FGNN은 $\rho(k\text{-FWL}_I) \subseteq \rho(f)$를 만족하는 모든 함수 $f$를 근사할 수 있다. 여기서 $\rho$는 함수의 커널을 의미한다.
• 등변의 경우, $k$-FGNN은 $\rho(k\text{-FWL}_E) \subseteq \rho(f)$를 만족하는 모든 등변 함수 $f$를 근사할 수 있으며, 이는 노드 수준 예측으로의 분석 확장을 포함한다.
• 실증적으로 2-FGNN은 표준 메시지 전파 GNN 및 고전적 알고리즘(스펙트럼, SDP, 다른 GNN)보다 이차할당문제에서 평균적으로 뛰어난 성능을 보였다.
• 이론적 프레임워크는 그래프 편집 거리와 최종 위상을 사용하여 크기가 다른 그래프로 확장되었으며, 이는 다양한 그래프 입력에 대해 근사 결과가 유지됨을 보장한다.