[논문 리뷰] Expressiveness and Approximation Properties of Graph Neural Networks

Floris Geerts, Juan L. Reutter|arXiv (Cornell University)|2022. 04. 10.

Ferroelectric and Negative Capacitance Devices인용 수 7

한 줄 요약

이 논문은 그래프 신경망(GNN)의 분리 능력을 체계적으로 분석하기 위해 아키텍처 설계를 Weisfeiler-Leman(WL) 테스트와 연결하는 텐서 언어 프레임워크를 제안한다. GNN을 텐서 표현식으로 표현함으로써 그 표현력의 상한을 신속하게 도출할 수 있으며, 특히 표현식 내 인덱스 수와 합산 중첩 깊이가 GNN의 분리 능력이 $k$-WL 또는 $k$-WL의 $t$라운드에 의해 제한되는지 여부를 직접 결정한다. 이는 GNN 설계자들이 WL 이론에 깊이 몰입할 필요 없이 일반적이고 직관적인 도구를 제공한다.

ABSTRACT

Characterizing the separation power of graph neural networks (GNNs) provides an understanding of their limitations for graph learning tasks. Results regarding separation power are, however, usually geared at specific GNN architectures, and tools for understanding arbitrary GNN architectures are generally lacking. We provide an elegant way to easily obtain bounds on the separation power of GNNs in terms of the Weisfeiler-Leman (WL) tests, which have become the yardstick to measure the separation power of GNNs. The crux is to view GNNs as expressions in a procedural tensor language describing the computations in the layers of the GNNs. Then, by a simple analysis of the obtained expressions, in terms of the number of indexes and the nesting depth of summations, bounds on the separation power in terms of the WL-tests readily follow. We use tensor language to define Higher-Order Message-Passing Neural Networks (or k-MPNNs), a natural extension of MPNNs. Furthermore, the tensor language point of view allows for the derivation of universality results for classes of GNNs in a natural way. Our approach provides a toolbox with which GNN architecture designers can analyze the separation power of their GNNs, without needing to know the intricacies of the WL-tests. We also provide insights in what is needed to boost the separation power of GNNs.

연구 동기 및 목표

• 복잡한 WL 이론 증명에 의존하지 않고도 임의의 GNN 아키텍처의 분리 능력을 체계적으로 평가할 수 있는 일반적이고 접근 가능한 방법을 제공하는 것.
• GNN 설계와 표현력 분석 간 격차를 메우기 위해 GNN을 절차적 텐서 언어로 공식화하는 것.
• 기존 결과를 복원하고 GNN 표현력 분야의 열린 문제를 해결하는 통합 프레임워크를 제공하는 것. 예를 들어, 불변 그래프 네트워크(IGN)의 분리 능력과 같은 문제들.
• GNN 설계자가 자신의 모델 텐서 표현의 간단한 문법 분석을 통해 표현력의 한계와 보편성을 추론할 수 있도록 돕는 것.

제안 방법

• 저자는 GNN 계산을 모델링하기 위해 특화된 일반 목적의 텐서 언어를 정의하며, 각 레이어는 변수, 합산, 집약 함수를 포함한 텐서 표현식으로 표현된다.
• 분리 능력은 텐서 표현식에서 사용된 고유한 인덱스 수를 세는 방식으로 분석된다: $k+1$개의 인덱스는 $k$-WL에 의해 제한됨을 의미한다.
• 합산의 중첩 깊이는 동일한 분리 능력을 달성하기 위해 필요한 $k$-WL의 라운드 수를 결정하며, 깊이 $t$는 $t$라운드의 $k$-WL에 해당한다.
• 이 프레임워크는 $k$-MPNNs를 MPNN의 자연스러운 확장으로 도입한다. $k$-MPNNs는 $k+1$개의 인덱스와 유한한 집약 깊이를 가진 텐서 표현식으로 정의된다.
• 텐서 언어의 '보호된' 부분은 고전적 MPNNs에 대응하며, 그 분리 능력은 색상 재정렬(CR)에 의해 제한되며, 이는 1-WL과 연결된다.
• 이 방법을 통해 GNN 클래스의 보편성 결과와 근사 상한을 그 텐서 표현식의 구조를 분석함으로써 도출할 수 있다.

실험 결과

연구 질문

• RQ1 일반 목적의 형식 체계를 통해 어떤 GNN 아키텍처의 분리 능력도 체계적으로 어떻게 상한을 구할 수 있는가?
• RQ2 GNN의 텐서 표현의 문법적 구조와 $k$-WL 테스트 기반 표현력 사이의 정확한 관계는 무엇인가?
• RQ3 이 프레임워크는 기존에 열려 있던 문제, 예를 들어 불변 그래프 네트워크(IGN)의 정확한 분리 능력 등 GNN 표현력 분야의 문제를 해결할 수 있는가?
• RQ4 GNN의 텐서 표현식에서 합산의 중첩 깊이와 동일한 표현력을 달성하기 위해 필요한 $k$-WL의 라운드 수 사이의 관계는 무엇인가?
• RQ5 이 방법은 GCN, GIN, ChebNet와 같은 기존 GNN에 대한 알려진 결과를 복원하고, 새로운 아키텍처로 확장할 수 있는가?

주요 결과

• 텐서 언어로 표현된 GNN의 분리 능력은 표현식에 $k+1$개의 인덱스를 사용할 경우 $k$-WL에 의해 제한되며, 표현력에 대한 직접적인 문법 기준을 제공한다.
• GNN의 분리 능력을 달성하기 위해 필요한 $k$-WL의 라운드 수는 그 텐서 표현식의 합산 중첩 깊이의 최댓값에 의해 결정된다.
• 이 프레임워크는 열린 문제를 해결하며, 불변 그래프 네트워크(IGN)의 분리 능력이 이전에 추측된 바와 같이 $k$-WL이 아니라 $(k-1)$-WL에 의해 제한됨을 증명한다.
• 이 방법은 기존 결과를 복원한다: GCN와 ChebNet는 2-WL에 의해 제한되며, $\mathsf{CayleyNet}$은 이 분석을 통해 2-WL에 의해 제한됨을 입증한다.
• 고전적 MPNNs는 텐서 언어의 보호된 부분에 대응하며, 그 분리 능력은 색상 재정렬(1-WL)에 의해 제한되며, 이는 이전 결과와 일치한다.
• 이 프레임워크는 GNN 클래스의 보편성 및 근사 결과를 그 텐서 표현식의 구조 분석을 통해 도출할 수 있도록 한다.