[논문 리뷰] Understanding over-squashing and bottlenecks on graphs via curvature

Jake Topping, Francesco Di Giovanni외 3명|arXiv (Cornell University)|2021. 11. 29.

Topological and Geometric Data Analysis참고 문헌 57인용 수 34

한 줄 요약

논문은 그래프의 bottleneck를 정량화하기 위해 새로운 엣지 기반 Balanced Forman curvature를 제시하고, 음의 곡률 엣지가 GNN에서 over-squashing를 야기함을 증명하며, 이를 완화하기 위한 curvature-guided SDRF 그래프 재배선을 제안한다.

ABSTRACT

Most graph neural networks (GNNs) use the message passing paradigm, in which node features are propagated on the input graph. Recent works pointed to the distortion of information flowing from distant nodes as a factor limiting the efficiency of message passing for tasks relying on long-distance interactions. This phenomenon, referred to as 'over-squashing', has been heuristically attributed to graph bottlenecks where the number of $k$-hop neighbors grows rapidly with $k$. We provide a precise description of the over-squashing phenomenon in GNNs and analyze how it arises from bottlenecks in the graph. For this purpose, we introduce a new edge-based combinatorial curvature and prove that negatively curved edges are responsible for the over-squashing issue. We also propose and experimentally test a curvature-based graph rewiring method to alleviate the over-squashing.

연구 동기 및 목표

• GNN에서의 over-squashing에 대한 정밀한 기하학적 설명을 제공하고 이를 그래프 bottlenecks와 연결한다.
• 메시지 전달 병목을 한정하고 설명하는 계산 가능한 엣지 기반 곡률(Balanced Forman curvature)을 도입한다.
• 음의 곡률을 가지는 엣지가 병목과 over-squashing를 유발함을 보인다.
• 병목을 완화하기 위한 curvature-driven graph rewiring(Stochastic Discrete Ricci Flow)을 제안하고 평가한다.
• 곡률 기반 재배선과 확산 기반 방법을 비교하고 토폴로지 보존이 향상됨을 보여준다.

제안 방법

• 노드 표현의 야코비안을 정의하여 over-squashing을 정량화하고 이를 증강된 정규화 인접 행렬의 거듭제곱과 연관시킨다.
• 로컬이고 계산 가능한 엣지 곡률로서 Balanced Forman curvature Ric(i,j)를 도입하고 Ric(i,j) > -2이며 Ric(i,j) ≤ κ(i,j) (Ollivier curvature)임을 증명한다.
• 음의 곡률을 가지는 엣지가 교차 노드 정보 전파를 방해하는 병목을 유발한다는 것을 증명한다(정리 4).
• 곡률을 Cheeger 상수 h_G와 고유 간격 λ1(스펙트럴 간격)와 연관시킨다(정리 5).
• 음의 곡률 엣지를 선택적으로 수정하고(선택적으로 양의 곡률 엣지를 제거) 그래프 편집 거리 한도 내에서 surgical하게 수정하기 위해 Stochastic Discrete Ricci Flow (SDRF)를 제안한다.
• SDRF를 확산 기반 재배선(DIGL/PPR)과 비교하고 토폴로지 및 동질성에 의존하는 성능에 미치는 영향을 분석한다.

실험 결과

연구 질문

• RQ1 메시지 전달 신경망에서 어떤 그래프 위상학적 특징이 over-squashing를 유발하는가?
• RQ2 엣지에 대한 이산 곡률 개념(Balanced Forman curvature)이 over-squashing의 병목을 감지할 수 있는가?
• RQ3 음의 곡률 엣지 구조가 GNN에서 장거리 정보 흐름을 방해하는 병목을 인과적으로 유발하는가?
• RQ4 curvature-guided 재배선(SDRF)이 diffusion 기반 방법보다 그래프 수정이 과도하지 않으면서 병목을 더 효과적으로 줄일 수 있는가?
• RQ5 곡률 기반 재배선 방법이 데이터셋 간 동질성에 따른 성능 및 그래프 토폴로지 보존에 어떤 영향을 미치는가?

주요 결과

• 음의 곡률을 가지는 엣지가 GNN의 병목과 over-squashing의 주요 기여자로 식별된다(정리 4).
• Balanced Forman curvature는 Ollivier curvature에 대한 계산 가능한 하한을 제공하고 로컬 엣지 기하를 특징지운다; Ric(i,j) > -2 일반적이다.
• 곡률과 Cheeger 상수, 스펙트럴 간격 간의 이론적 연관이 있어 양의 곡률 경계가 스펙트럴 간격과 병목의 심각도를 제어할 수 있음을 시사한다(정리 5).
• SDRF(Stochastic Discrete Ricci Flow)는 음의 곡률 엣지를 선택적으로 대상으로 하여 병목을 완화하고 그래프 토폴로지 보존을 확산 기반 재배선보다 더 잘 유지한다.
• 실험적으로 SDRF는 9개 데이터셋에서 노드 분류 정확도를 향상시키며 특히 저 동질성 그래프에서 더 큰 이점을 보이고 원래 분포에 더 가깝게 차수를 보존한다(DIGL과 비교할 때).
• 곡률 기반 재배선은 무작위 워크 확산 기반 재배선에 비해 더 우수한 토폴로지 보존을 보이며(그래프 수정 영향이 작음) 경쟁력 있는 또는 더 나은 성능을 달성한다.