[논문 리뷰] Weisfeiler and Lehman Go Topological: Message Passing Simplicial Networks

Cristian Bodnar, Fabrizio Frasca외 5명|arXiv (Cornell University)|2021. 03. 04.

Advanced Graph Neural Networks참고 문헌 62인용 수 46

한 줄 요약

요약: 이 논문은 Simplicial complexes 위에 구축된 Message Passing Simplicial Networks (MPSNs)을 소개하고, SWL 파워가 MPSN과 같고 WL을 능가함을 증명하며, 선형 영역을 통해 표현력을 분석하고, hard 그래프 계열과 oriented(orientation-aware) SC 태스크에서 더 강한 구분력을 시연한다.

ABSTRACT

The pairwise interaction paradigm of graph machine learning has predominantly governed the modelling of relational systems. However, graphs alone cannot capture the multi-level interactions present in many complex systems and the expressive power of such schemes was proven to be limited. To overcome these limitations, we propose Message Passing Simplicial Networks (MPSNs), a class of models that perform message passing on simplicial complexes (SCs). To theoretically analyse the expressivity of our model we introduce a Simplicial Weisfeiler-Lehman (SWL) colouring procedure for distinguishing non-isomorphic SCs. We relate the power of SWL to the problem of distinguishing non-isomorphic graphs and show that SWL and MPSNs are strictly more powerful than the WL test and not less powerful than the 3-WL test. We deepen the analysis by comparing our model with traditional graph neural networks (GNNs) with ReLU activations in terms of the number of linear regions of the functions they can represent. We empirically support our theoretical claims by showing that MPSNs can distinguish challenging strongly regular graphs for which GNNs fail and, when equipped with orientation equivariant layers, they can improve classification accuracy in oriented SCs compared to a GNN baseline.

연구 동기 및 목표

• 그래프를 넘어선 고차관계 모델링의 동기를 제시하여 다층 상호작용을 포착합니다.
• 비동등한(simply non-isomorphic) simplicial complexes를 구분하기 위한 Simplicial Weisfeiler-Lehman (SWL)을 정의합니다.
• Message Passing Simplicial Networks (MPSNs)를 제안하고 이들이 SWL 표현력을 달성함을 증명합니다.
• MPSNs의 표현력과 기능적 복잡성을 GNNs 및 SCNNs와 비교합니다.
• 도전적인 그래프 계열 및 방향 인식 SC 태스크에서의 실험적 이점을 보여줍니다.

제안 방법

• 유향된 단순복합체와 그 Euler/경계 구조를 정의합니다.
• 인접관계(경계, 역경계, 하위, 상위)와 업데이트 규칙을 갖춘 SWL 채색을 개발합니다.
• SWL이 MPSNs와 동등하고 WL보다 우수하며 3-WL보다 약하지 않음을 보입니다.
• 네 가지 메시지 유형, 단추성(neighborhood) 집계기 및 단순체-인식 읽기(readout)를 갖춘 MPSN 층을 설명합니다.
• MPSNs를 스펙트럴 단순복합 컨볼루션과 연계하고 단순체 재표기 및 방향성에 대한 등가성(equivariance)을 논의합니다.
• 클리크-복합로의 상승(리프팅)을 통한 MPSN 메시징의 복잡도 분석을 제공합니다.

실험 결과

연구 질문

• RQ1 SWL이 그래프의 클리크 복합로의 상승을 통해 WL보다 더 강력하게 비동형인 simplicial complex를 구분할 수 있는가?
• RQ2 MPSNs가 SWL 표현력에 맞먹고 전통적인 GNNs 및 SCNNs를 higher-order 설정에서 능가할 수 있는가?
• RQ3 MPSNs의 선형 영역 수가 GNNs 및 SCNNs보다 어떻게 비교되며, 이것이 표현력에 대해 무엇을 시사하는가?
• RQ4 방향-동일성 있는 MPSN 층이 방향화된 단순복합체 및 에지-흐름 태스크에서 향상된 성능을 제공하는가?
• RQ5 MPSN에서 더 높은 차수의 인접관계를 사용할 때의 계산적 트레이드오프는 무엇인가?

주요 결과

• SWL은 WL보다 명확히 강력하고 그래프를 클리크 복합로 상승했을 때 3-WL에 비해 덜 약하지 않다.
• MPSNs는 비동형인 simplicial complexes를 구분하는 데 SWL만큼 강력하다.
• MPSNs는 ReLU 활성화 하에서 GNNs 및 SCNNs보다 더 높은 잠재적 기능 복잡도(선형 영역)를 가질 수 있다.
• 실험 결과 MPSNs가 GNNs가 구분하지 못하는 도전적인 강규칙 그래프 쌍을 구분하는 경향을 보인다.
• 방향 동질성(orientation-equivariant) MPSN 층은 방향화된 SC 태스크 및 에지-흐름 분류에서 베이스라인보다 성능을 개선한다.
• 클리크-복합로 상승은 MPSN이 그래프 동형성 태스크에서 WL을 능가하도록 하며, 도전적인 SR 그래프를 포함한다에 이르게 한다.