[논문 리뷰] Let's Agree to Degree: Comparing Graph Convolutional Networks in the Message-Passing Framework

Floris Geerts, Filip Mazowiecki외 1명|arXiv (Cornell University)|2020. 04. 06.

Advanced Graph Neural Networks참고 문헌 17인용 수 12

한 줄 요약

이 논문은 메시지 전파 신경망(MPNN) 프레임워크 내에서 그래프 컬러링 네트워크(GCNs)와 그래프 신경망(GNNs)의 구별 능력을 비교하며, GCNs가 차수 인식 메시지 전파 덕분에 Weisfeiler-Lehman(WL) 알고리즘보다 한 단계 앞서 있음을 보여주고, Kipf와 Welling이 도입한 학습 가능한 파라미터가 GCNs가 WL 알고리즘을 시뮬레이션할 수 있게 하여 그 전반적인 구별 능력을 동일하게 만든다는 것을 밝힌다.

ABSTRACT

In this paper we cast neural networks defined on graphs as message-passing neural networks (MPNNs) in order to study the distinguishing power of different classes of such models. We are interested in whether certain architectures are able to tell vertices apart based on the feature labels given as input with the graph. We consider two variants of MPNNS: anonymous MPNNs whose message functions depend only on the labels of vertices involved; and degree-aware MPNNs in which message functions can additionally use information regarding the degree of vertices. The former class covers a popular formalisms for computing functions on graphs: graph neural networks (GNN). The latter covers the so-called graph convolutional networks (GCNs), a recently introduced variant of GNNs by Kipf and Welling. We obtain lower and upper bounds on the distinguishing power of MPNNs in terms of the distinguishing power of the Weisfeiler-Lehman (WL) algorithm. Our results imply that (i) the distinguishing power of GCNs is bounded by the WL algorithm, but that they are one step ahead; (ii) the WL algorithm cannot be simulated by "plain vanilla" GCNs but the addition of a trade-off parameter between features of the vertex and those of its neighbours (as proposed by Kipf and Welling themselves) resolves this problem.

연구 동기 및 목표

• 메시지 전파 신경망(MPNN)의 그래프 표현 학습에서의 구별 능력을 분석하기 위해.
• 정점과 그래프를 구별하는 데 있어 능력 측면에서 익명 MPNN(표준 GNNs 포함)와 차수 인식 MPNN(GCNs 포함)를 비교하기 위해.
• GCNs가 그래프 신경망에서의 구별 능력 기준이 되는 Weisfeiler-Lehman(WL) 알고리즘을 시뮬레이션할 수 있는지 확인하기 위해.
• GCNs 또는 GNNs가 WL 알고리즘의 표현 능력을 따라하거나 초월할 수 있는 조건을 규명하기 위해.
• Kipf와 Welling이 제안한 학습 가능한 파라미터를 GCNs에 포함하는 데 이론적 근거를 제공하기 위해.

제안 방법

• MPNN를 메시지 전파 프레임워크로 공식화하며, 차수 정보가 없는 익명 MPNN와 차수 정보가 포함된 차수 인식 MPNN로 나누어진다.
• 구별 능력의 기준으로 Weisfeiler-Lehman(WL) 알고리즘을 사용하며, 정점 색상 개선을 통한 MPNN와의 비교를 수행한다.
• 익명 MPNN가 WL 알고리즘의 구별 능력에 의해 제한됨을 증명하며, 이는 이전 결과를 일반화하는 것이다.
• 차수 인식 MPNN가 WL 알고리즘보다 한 단계 앞서 있음을 입증한다. 이는 WL이 한 반복 후에 차수 정보를 유도하는 데 반해, 차수 인식 MPNN는 처음부터 이를 사용하기 때문이다.
• 선형 대수적 공식화(예: 학습 가능한 파라미터가 포함된 정규화된 인접 행렬)를 기반으로 한 특정 MPNN 아키텍처를 구성하여 WL 알고리즘을 시뮬레이션한다.
• 유리수와 부등식을 포함한 대수적 구성 방법을 사용하여, 특정 파라미터 설정이 낮은 표현 능력으로 붕괴되는 것을 방지함을 증명한다.

실험 결과

연구 질문

• RQ1 GCNs와 같은 차수 인식 MPNN는 Weisfeiler-Lehman(WL) 알고리즘의 구별 능력을 초월할 수 있는가?
• RQ2 표준 GCNs가 WL 알고리즘을 시뮬레이션할 수 있는가, 아니면 추가적인 파라미터가 필요한가?
• RQ3 정점 차수 정보의 포함이 메시지 전파 신경망의 구별 능력에 어떤 영향을 미치는가?
• RQ4 GCNs의 특정 아키텍처 선택이 WL 알고리즘의 표현 능력을 따라가도록 하는 데 어떤 영향을 미치는가?
• RQ5 고정 입력 그래프에 대한 WL 알고리즘의 시뮬레이션을 GNN 또는 GCN 아키텍처 기반 MPNN를 통해 모든 그래프로 일반화할 수 있는가?

주요 결과

• 익명 MPNN(표준 GNNs 포함)는 Weisfeiler-Lehman(WL) 알고리즘의 구별 능력에 의해 제한된다.
• GCNs와 같은 차수 인식 MPNN는 처음부터 정점 차수 정보를 사용하므로 WL 알고리즘보다 한 단계 앞서 있다. 반면 WL은 한 반복 후에 이를 유도한다.
• WL 알고리즘은 차수 인식 MPNN를 통해 시뮬레이션 가능하지만, 학습 가능한 파라미터가 없는 '기본형' GCNs에서는 불가능하다.
• GCN의 메시지 전파 메커니즘에 학습 가능한 파라미터 $ p $를 추가함으로써, 특히 $ ( extbf{D} + p\textbf{I})^{-1/2} $에서 그러한 추가가 이루어지며, 이는 고정된 입력 그래프에서 WL 알고리즘을 시뮬레이션할 수 있게 한다.
• 이론적 분석을 통해 Kipf와 Welling이 제안한 파라미터 $ p $는 GCNs가 WL 알고리즘의 전반적인 표현 능력을 달성하기 위해 필수적이고 충분함을 확인한다.
• 선형 대수적 공식화를 기반으로 한 특정 MPNN 클래스(예: 정규화된 인접 행렬과 학습 가능한 파라미터를 포함)는 WL 알고리즘을 시뮬레이션할 수 있으며, 이는 이러한 설계의 이론적 근거를 제공한다.