[논문 리뷰] How does over-squashing affect the power of GNNs?

Francesco Di Giovanni, T. Konstantin Rusch외 5명|arXiv (Cornell University)|2023. 06. 06.

Adversarial Robustness in Machine Learning인용 수 5

한 줄 요약

이 논문은 메시지 전파 신경망(MPNNs)에서의 과도한 혼합(over-squashing)을 정량적으로 측정하는 새로운 방법을 제안한다. 이 방법은 노드 쌍 간의 특징 혼합을 분석하고, 이를 도착 시간(commute times)을 통해 그래프 구조와 연결한다. 이론적으로, 노드 간 도착 시간이 높을수록 충분한 특징 상호작용을 달성하기 위해 실용적으로 불가능한 깊이 또는 넓이를 가진 MPNN가 필요하다는 것을 증명하며, 장거리 작업에 대한 MPNN 표현력의 기본적인 한계를 규명한다.

ABSTRACT

Graph Neural Networks (GNNs) are the state-of-the-art model for machine learning on graph-structured data. The most popular class of GNNs operate by exchanging information between adjacent nodes, and are known as Message Passing Neural Networks (MPNNs). Given their widespread use, understanding the expressive power of MPNNs is a key question. However, existing results typically consider settings with uninformative node features. In this paper, we provide a rigorous analysis to determine which function classes of node features can be learned by an MPNN of a given capacity. We do so by measuring the level of pairwise interactions between nodes that MPNNs allow for. This measure provides a novel quantitative characterization of the so-called over-squashing effect, which is observed to occur when a large volume of messages is aggregated into fixed-size vectors. Using our measure, we prove that, to guarantee sufficient communication between pairs of nodes, the capacity of the MPNN must be large enough, depending on properties of the input graph structure, such as commute times. For many relevant scenarios, our analysis results in impossibility statements in practice, showing that over-squashing hinders the expressive power of MPNNs. We validate our theoretical findings through extensive controlled experiments and ablation studies.

연구 동기 및 목표

• 장거리 노드 상호작용을 포함하는 함수를 학습할 때 과도한 혼합이 MPNN의 표현력을 어떻게 제한하는지 이해하기 위해.
• MPNN 내에서 노드 쌍 간 특징 혼합의 정도를 측정하는 정량적 측도를 개발하기 위해.
• 실용적인 능력을 지닌 MPNN가 고도의 혼합 특징을 필요로 하는 함수를 학습할 때 이론적으로 불가능한 결과를 도출하기 위해.
• 기하학적 그래프와 점군(point clouds)에 대한 등변성(MPNN)으로 분석을 확장하여, 이 이론이 표준 그래프를 초월해 널리 적용 가능함을 보여주기 위해.
• 다양한 MPNN 아키텍처에서의 제어 실험을 통해 이론을 검증하기 위해—학습 오차와 과도한 혼합 측도를 측정함으로써.

제안 방법

• 노드 쌍 간 특징 혼합을 측정하는 방법을 제안하며, 이는 MPNN의 메시지 전파 동역학이 유도하는 상호작용의 크기로 정의된다.
• MPNN의 야코비안과 스펙트럼 성질을 사용하여 특징 혼합을 노드 쌍 간의 그래프 도착 시간과 연결한다.
• 고도의 도착 시간을 가진 노드 쌍 간에 충분한 혼합을 달성하기 위해 필요한 MPNN의 깊이와 용량에 하한을 도출한다.
• 과도한 혼합으로 인한 정보 손실 정도를 정량화하기 위해 정규화된 과도한 혼합 측도 $\widetilde{\mathsf{OSQ}}$ 를 도입한다.
• 효율적으로 유효 저항과 도착 시간을 계산하기 위해 수정된 라플라시안 행렬의 무어-펜로즈 역행렬을 사용한다.
• 합성 ZINC 데이터셋에서의 추론 실험을 통해 이론적 예측을 검증하며, GCN, GIN, GraphSAGE, GatedGCN 모델 전반에 걸쳐 학습 MAE와 $\widetilde{\mathsf{OSQ}}$ 를 측정한다.

실험 결과

연구 질문

• RQ1 과도한 혼합은 어떻게 장거리 노드 간 강한 특징 상호작용이 필요한 함수를 학습하는 데서 MPNN의 능력을 제한하는가?
• RQ2 특정 노드 쌍 간의 도착 시간을 중심으로 하여 과도한 혼합을 그래프 구조적 특성으로 정량화할 수 있는가?
• RQ3 높은 도착 시간을 가진 노드 쌍 간에 충분한 혼합을 달성하기 위해 필요한 최소 MPNN 깊이 또는 용량은 얼마인가?
• RQ4 제안된 과도한 혼합 측도는 실질적으로 장거리 작업에서 모델 성능과 상관관계가 있는가?
• RQ5 이 이론은 기하학적 그래프와 점군에 대한 등변성 MPNN로 어떻게 확장되는가?

주요 결과

• 용량이 제한된 MPNN는 도착 시간이 큰 노드 쌍으로부터의 높은 1차 또는 2차 특징 혼합이 필요한 노드 수준의 함수를 학습할 수 없다.
• 필요한 층 수 $m$ 은 최소 $\frac{\tau(v,u)}{4c_2}$ 만큼 증가하며, 여기서 $\tau(v,u)$ 는 노드 $v$ 와 $u$ 간의 도착 시간이다. 이는 그래프 구조에 직접적인 의존성을 보여준다.
• 실험 결과, 도착 시간 분위수(quantiles)가 높을수록 학습 MAE가 증가하고, 층 수가 많아질수록 감소함을 확인하여 이론적 상충 관계를 뒷받침한다.
• 과도한 혼합 측도 $\widetilde{\mathsf{OSQ}}$ 는 도착 시간 분위수가 높을수록 증가하고, MPNN 깊이가 증가할수록 감소함을 확인하여 이론적 예측을 검증한다.
• 이 분석은 기하학적 그래프로도 성립하며, 점군에 대한 등변성 MPNN로도 확장되어 표준 그래프를 초월한 광범위한 적용 가능성을 보여준다.
• 이 연구는 근본적인 한계를 드러낸다: 고직경 또는 병목 구조를 가진 많은 실제 그래프에서는 실용적인 크기의 MPNN로는 장거리 작업을 위해 충분한 특징 혼합을 달성할 수 없다.