[논문 리뷰] On Over-Squashing in Message Passing Neural Networks: The Impact of Width, Depth, and Topology

Francesco Di Giovanni, Lorenzo Giusti외 4명|arXiv (Cornell University)|2023. 02. 06.

Advanced Memory and Neural Computing인용 수 31

한 줄 요약

논문은 MPNN의 over-squashing에 대한 이론적 분석을 제공하며, 폭은 일반화 비용의 잠재적 대가로 문제를 완화시킬 수 있고, 깊이는 일반적으로 도움이 되지 않으며 vanishing gradient를 초래할 수 있으며 그래프 토폴로지(특히 commute time)가 over-squashing에 영향을 주는 주된 요인이라는 것을 보인다.

ABSTRACT

Message Passing Neural Networks (MPNNs) are instances of Graph Neural Networks that leverage the graph to send messages over the edges. This inductive bias leads to a phenomenon known as over-squashing, where a node feature is insensitive to information contained at distant nodes. Despite recent methods introduced to mitigate this issue, an understanding of the causes for over-squashing and of possible solutions are lacking. In this theoretical work, we prove that: (i) Neural network width can mitigate over-squashing, but at the cost of making the whole network more sensitive; (ii) Conversely, depth cannot help mitigate over-squashing: increasing the number of layers leads to over-squashing being dominated by vanishing gradients; (iii) The graph topology plays the greatest role, since over-squashing occurs between nodes at high commute (access) time. Our analysis provides a unified framework to study different recent methods introduced to cope with over-squashing and serves as a justification for a class of methods that fall under graph rewiring.

연구 동기 및 목표

• 폭이 over-squashing에 미치는 영향과 일반화에서의 트레이드오프를 이해한다.
• 깊이를 증가시키는 것이 over-squashing을 완화하는지 여부를 조사하고, 훈련을 악화시키는 지배적 범주를 식별한다.
• 그래프 토폴로지와 스펙트럼이 지역 곡률 한계를 넘어 over-squashing에 어떤 영향을 미치는지 분석한다.
• 공간적 및 스펙트럴 재배선을 over-squashing에 연결하는 통일된 프레임워크를 제공한다.
• 그래프 재배선 접근법을 over-squashing의 완화와 연관시키는 분석적 타당성을 제시한다.

제안 방법

• 폭 매개변수 p를 가진 MPNN의 고차원 노드 특징에 대한 민감도 분석 확장
• Jacobians를 통한 MPNN 다이나믹스 연구: ||∂h_v^(m)/∂h_u^(0)||_L1 ≤ (c_sigma p w)^m (S_r,a^m)_{vu}.
• 토폴로지에 의해 유도된 항이 거리와 함께 감소하면 폭이 over-squashing을 완화시킬 수 있음을 보임.
• 얕은-직경 구간에서 멀리 있는 노드 간 over-squashing이 발생하고, 깊은 구간에서 vanishing gradients가 지배적인 구간을 분석.
• 접근 시간, commute 시간, Cheeger 관련 스펙트럼 특성을 통해 토폴로지와 over-squashing의 관계를 분석.
• Jacobian 민감도와 그래프 보행을 토폴로지 구동 over-squashing과 연결하는 조건(정리 4.1)과 스펙트럴 노름 제약하에서의 vanishing gradients 의 중력(정리 4.2)을 도출한다.
• 구조적 재배선(공간적 및 스펙트럴)과 위상/스펙트럼 측정치를 통해 over-squashing 감소를 연결하는 프레임워크를 제공한다.

실험 결과

연구 질문

• RQ1 폭을 증가시키면 over-squashing이 완화되는가, 그리고 일반화에 어느 비용이 수반되는가?
• RQ2 깊이를 늘리는 네트워크가 over-squashing을 완화하는가, 아니면 vanishing gradients나 다른 단점이 발생하는가?
• RQ3 그래프 토폴로지(통과 시간 및 스펙트럼 포함)가 지역 곡률 논리를 넘어서 over-squashing에 어떤 영향을 미치는가?
• RQ4 공간적 및 스펙트럴 재배선 전략이 일관되게 over-squashing을 완화하는가, 그리고 이를 하나의 프레임워크로 통합할 수 있는가?
• RQ5 Jacobian 기반 민감도 지표가 먼 노드 상호작용에서 over-squashing이 발생하는지를 예측하는 조건은 무엇인가?

주요 결과

• 폭은 모델 용량과 Lipschitz 관련 요인을 증가시켜 over-squashing을 완화하지만 일반화에 악영향을 줄 수 있다.
• 깊이는 일반적으로 over-squashing을 고치지 못하며, m이 그래프 직경과 유사할 때 멀리 있는 노드 간 over-squashing이 발생하고, 큰 m일 때 그래디언트가 소실될 수 있다.
• 최소 차수와 보행 수를 통해 토폴로지가 over-squashing이 나타나는 거리 수준을 강하게 지배하며, 종종 곡률 고려보다 더 큰 영향을 준다.
• Over-squashing은 노드 간 접근 시간과 연관되며, commute 시간/유효 저항 프레임워크가 공간적 및 스펙트럴 재배선의 효과를 설명한다.
• 깊은 구간에서, 특정 스펙트럼 노름 경계 하에서 레이어 수에 따라 그래디언트가 지수적으로 감소하므로 긴 거리 의존성에서 깊은 MPNN의 근본적 한계를 보여준다.
• 본 연구는 여러 재배선 접근법(공간적 및 스펙트럴)을 그래프 토폴로지와 스펙트럼과 연계된 완화 인자로 해석하는 통일된 해석을 제공한다.