[논문 리뷰] How Powerful are K-hop Message Passing Graph Neural Networks

Jiarui Feng, Yixin Chen외 3명|arXiv (Cornell University)|2022. 05. 26.

Advanced Graph Neural Networks인용 수 37

한 줄 요약

본 논문은 이론적으로 K-홉 메시지 패스 GNN의 표현력을 분석하고 두 커널을 구분하며, 이들이 1-WL보다 우월하지만 3-WL에 의해 한계가 있음을 증명하고, 주변 서브그래프를 이용한 KP-GNN을 도입하여 표현력을 크게 향상시키며, 실험으로 뒷받침된다.

ABSTRACT

The most popular design paradigm for Graph Neural Networks (GNNs) is 1-hop message passing -- aggregating information from 1-hop neighbors repeatedly. However, the expressive power of 1-hop message passing is bounded by the Weisfeiler-Lehman (1-WL) test. Recently, researchers extended 1-hop message passing to K-hop message passing by aggregating information from K-hop neighbors of nodes simultaneously. However, there is no work on analyzing the expressive power of K-hop message passing. In this work, we theoretically characterize the expressive power of K-hop message passing. Specifically, we first formally differentiate two different kernels of K-hop message passing which are often misused in previous works. We then characterize the expressive power of K-hop message passing by showing that it is more powerful than 1-WL and can distinguish almost all regular graphs. Despite the higher expressive power, we show that K-hop message passing still cannot distinguish some simple regular graphs and its expressive power is bounded by 3-WL. To further enhance its expressive power, we introduce a KP-GNN framework, which improves K-hop message passing by leveraging the peripheral subgraph information in each hop. We show that KP-GNN can distinguish many distance regular graphs which could not be distinguished by previous distance encoding or 3-WL methods. Experimental results verify the expressive power and effectiveness of KP-GNN. KP-GNN achieves competitive results across all benchmark datasets.

연구 동기 및 목표

• 두 개의 서로 다른 K-홉 이웃 커널(가장 짧은 경로 거리(spd) 대 그래프 확산(gd))를 구분하고 표현력에 미치는 영향을 명확히 한다.
• K-홉 메시지 패싱의 표현력을 특성화하고 이를 1-WL 및 3-WL 한계와 비교한다.
• 주변 서브그래프 정보를 이용해 K-홉 MPNN을 보강하는 KP-GNN를 제안한다.
• 이론적 보장과 시뮬레이션 및 실제 데이터셋에 걸친 경험적 증거를 제공한다.

제안 방법

• 두 가지 K-홉 이웃 커널을 정의한다: shortest-path-distance (spd)와 graph-diffusion (gd).
• 각 홉 MES/UPD와 결합 단계를 포함하는 K-홉 메시지 패스 프레임워크를 제시한다(식 (3)).
• K>1일 때 적절한 K-홉 GNN은 1-홉 GNN보다 엄밀하게 더 강력하다는 것을 보인다(명제 1).
• 어떤 적절한 K-홉 GNN의 표현력은 3-WL로 한정된다(정리 2).
• 각 홉의 메세지에 주변 서브그래프 정보를 보강하여 KP-GNN을 도입한다(식 (4)-(5)).
• 거리-정규 그래프에서 보강된 표현력을 시연하고 실험 결과를 제시한다(표와 실험).

실험 결과

연구 질문

• RQ1 K-홉 메시지 패스가 그래프 구별 가능성 측면에서 1-WL과 어떻게 비교되는가?
• RQ2 K-홉 GNN은 거의 모든 규칙 그래프를 구별하는가, 그리고 이들의 이론적 한계는 무엇인가?
• RQ3 주변 서브그래프 정보를 도입하는(KP-GNN) 것이 표준 K-홉 GNN의 3-WL 경계를 넘어설 수 있는가?
• RQ4 합성 및 실제 벤치마크에서 KP-GNN 변형들이 기존 GNN들과 비교하여 어떻게 성능을 보이는가?

주요 결과

• K>1인 K-홉 GNN은 1-홉 GNN보다 엄밀히 더 강력하며 많은 규칙 그래프를 구별할 수 있다.
• 일 레이어에서 보통의 K일 때, 2-홉 GNN은 특정 조건하에 거의 모든 n-크기의 r-정규 그래프 쌍을 구별할 수 있다.
• 어떤 커널에 대해서도 적절한 K-홉 GNN의 표현력은 3-WL로 한정된다.
• 주변 서브그래프 정보를 포함하는 KP-GNN은 표준 K-홉 GNN이 구별하지 못하는 distance-regular 그래프를 구별한다.
• 다수의 데이터셋과 작업에서 KP-GNN이 경쟁력 있거나 최첨단 성능을 달성하는 것으로 나타났다.