[논문 리뷰] Facilitating Graph Neural Networks with Random Walk on Simplicial Complexes

Cai Zhou, Xiyuan Wang외 1명|arXiv (Cornell University)|2023. 10. 30.

Advanced Graph Neural Networks인용 수 7

한 줄 요약

이 논문은 단순 복합체에서의 무작위 보행을 활용하여 노드, 간선, 고차원 단순체에 대한 새로운 위치 인코딩(PE) 및 구조 인코딩(SE)을 도입함으로써 그래프 신경망(GNNs)의 성능을 향상시키는 혁신적인 프레임워크를 제안한다. 무작위 보행과 호지 라플라시안, 스펙트럼 이론을 연결함으로써 EdgeRWSE와 Hodge1Lap라는 방법을 도입하여 GNN의 표현력과 성능을 다수의 벤치마크에서 향상시키며, 최소한의 계산 부담으로 최고 수준 또는 경쟁 가능한 성능을 달성한다.

ABSTRACT

Node-level random walk has been widely used to improve Graph Neural Networks. However, there is limited attention to random walk on edge and, more generally, on $k$-simplices. This paper systematically analyzes how random walk on different orders of simplicial complexes (SC) facilitates GNNs in their theoretical expressivity. First, on $0$-simplices or node level, we establish a connection between existing positional encoding (PE) and structure encoding (SE) methods through the bridge of random walk. Second, on $1$-simplices or edge level, we bridge edge-level random walk and Hodge $1$-Laplacians and design corresponding edge PE respectively. In the spatial domain, we directly make use of edge level random walk to construct EdgeRWSE. Based on the spectral analysis of Hodge $1$-Laplcians, we propose Hodge1Lap, a permutation equivariant and expressive edge-level positional encoding. Third, we generalize our theory to random walk on higher-order simplices and propose the general principle to design PE on simplices based on random walk and Hodge Laplacians. Inter-level random walk is also introduced to unify a wide range of simplicial networks. Extensive experiments verify the effectiveness of our random walk-based methods.

연구 동기 및 목표

• GNN에서 노드 수준 및 간선 수준의 무작위 보행을 위치 인코딩 및 구조 인코딩 방법과 연결한다.
• 기본값과 부호에 관계없이 불변인 간선 수준의 PE/SE를 개발하여 GNN의 표현력과 일반화 능력을 향상시킨다.
• 무작위 보행 기반 인코딩을 고차원 단순체 및 단순체 간 수준 간 전이로 일반화한다.
• 호지 이론과 무작위 보행을 기반으로 한 단일 이론적 프레임워크 안에서 기존의 GNN 및 단순체 네트워크 방법을 통합하고 확장한다.
• 실제 그래프 및 단순체 벤치마크에서 제안된 방법의 효과성을 실증적으로 검증한다.

제안 방법

• 직접적인 간선 수준의 무작위 보행을 기반으로 한 공간 도메인 간선 수준 PE인 EdgeRWSE를 제안하여 국소적 및 전역적 간선 구조를 캡처한다.
• 호지 1-라플라시안에서 유도된 스펙트럼 기반 간선 수준 PE인 Hodge1Lap을 도입하여 고유벡터 분해를 통해 순열 및 부호 불변성을 보장한다.
• 0-단순체(노드)에서의 무작위 보행과 기존 PE/SE 방법(예: RWSE 및 LapPE) 간 이론적 연결 고리를 수립한다.
• 호지 라플라시안과 수준 간 무작위 보행을 활용하여 단순체 네트워크 학습을 통합하는 방식으로 프레임워크를 고차원 단순체로 일반화한다.
• Hodge1Lap에서 투영 기반 및 절댓값 기반 고유벡터 인코딩을 조합하여 불변성을 유지하면서 표현력을 향상시킨다.
• 경량 신경망(MLP) 또는 특징 병합/덧셈을 통한 PE/SE 통합 방식을 적용하여, 어떤 GNN 기반 모델과도 호환되며 최소한의 계산 비용을 유도한다.

Figure 1: A pair of non-isomorphic graphs that are distinguishable by $2$ -FWL but indistinguishable by $0$ -RWSE in Theorem C.1 . The shaded sectors denote bicliques $K_{1,6}$ , i.e. all six solid nodes in the shade are connected with the hollow node in the square trunk.

실험 결과

연구 질문

• RQ1 간선과 고차원 단순체에서의 무작위 보행은 GNN의 이론적 표현력에 어떻게 기여하는가?
• RQ2 간선 수준의 무작위 보행과 호지 1-라플라시안 간의 구조 인코딩에서의 관계는 무엇인가?
• RQ3 기본값과 부호에 관계없이 불변인 간선 수준의 PE/SE 방법을 설계할 수 있는가? 이는 무방향 그래프에서의 강건성 확보에 기여하는가?
• RQ4 무작위 보행 기반 인코딩은 어떻게 고차원 단순체와 단순체 간 수준 간 전이로 일반화될 수 있는가?
• RQ5 무작위 보행 기반 PE/SE 방법은 다양한 벤치마크와 데이터 유형에서 GNN 성능을 어느 정도 향상시키는가?

주요 결과

• EdgeRWSE와 Hodge1Lap는 Zinc 등 여러 벤치마크에서 SOTA 또는 높은 경쟁력을 확보하며, GPS 및 Specformer를 능가하는 성능을 기록한다.
• Hodge1Lap는 투영 기반 및 절댓값 기반 고유벡터 인코딩을 조합하여 부호 및 기저 불변성을 확보하면서도 높은 표현력을 유지한다.
• EdgeRWSE는 고차원 구조 패턴을 캡처하는 데서 노드 수준의 RWSE를 능가하며, 2-셀(고리 및 사이클)을 통합한 CellularRWSE는 약간의 성능 향상을 보였다.
• Hodge1Lap 및 EdgeRWSE의 사전 처리 시간은 매우 짧으며(예: Zinc에서 약 ~28–32초), 가벼운 MLP 통합으로 인해 순전파 오버헤드는 무시할 수 있다.
• 제안된 방법은 간선 특징이 있는 모든 GNN 모델에 일반적으로 적용 가능하며, 다른 PE/SE 방법과도 성능 저하 없이 조합 가능하다.
• 이 프레임워크는 무방향 및 방향 그래프, 단순체, 세포 복합체 등으로 확장 가능하여 이산 위상 데이터 구조 전반에 걸쳐 광범위한 적용성을 보였다.

Figure 2: A pair of non-isomorphic graphs that are indistinguishable by $1$ -FWL. Graph (a) is a six-cycle, while graph (b) consists of two 3-cycles. Both $0$ -RWSE and Hodge- $0$ isospectra are able to distinguish these two graphs.