[논문 리뷰] Understanding Oversquashing in GNNs through the Lens of Effective Resistance

Mitchell Black, Zhengchao Wan외 2명|arXiv (Cornell University)|2023. 02. 14.

Advanced Graph Neural Networks인용 수 5

한 줄 요약

이 논문은 그래프 신경망(GNN)에서 과도한 압축(oversquashing)을 이론적 경계로 효과적 저항(effective resistance)을 도입하여 제시하며, 노드 간 효과적 저항이 낮을수록 정보 차단 현상이 감소함을 입증한다. 전체 효과적 저항을 최소화하는 탐욕적 리워핑 알고리즘을 제안하여 GNN 성능을 크게 향상시키며, 곡률 기반 방법을 능가하고 스펙트럼 갭 기반 접근법과 동등한 성능을 보였다. 그래프 분류 작업에서 성능 향상이 뚜렷했다.

ABSTRACT

Message passing graph neural networks (GNNs) are a popular learning architectures for graph-structured data. However, one problem GNNs experience is oversquashing, where a GNN has difficulty sending information between distant nodes. Understanding and mitigating oversquashing has recently received significant attention from the research community. In this paper, we continue this line of work by analyzing oversquashing through the lens of the effective resistance between nodes in the input graph. Effective resistance intuitively captures the ``strength'' of connection between two nodes by paths in the graph, and has a rich literature spanning many areas of graph theory. We propose to use total effective resistance as a bound of the total amount of oversquashing in a graph and provide theoretical justification for its use. We further develop an algorithm to identify edges to be added to an input graph to minimize the total effective resistance, thereby alleviating oversquashing. We provide empirical evidence of the effectiveness of our total effective resistance based rewiring strategies for improving the performance of GNNs.

연구 동기 및 목표

• GNN의 과도한 압축 현상과 전기 회로 이론 및 스펙트럼 그래프 이론에서 유래한 효과적 저항 간 이론적 연관성을 확립하기 위해.
• 전체 효과적 저항을 그래프 전반의 과도한 압축 정도를 총합으로 측정하는 글로벌 지표로 설정하기 위해.
• 전체 효과적 저항을 최소화하는 데 초점을 맞춘 실용적인 리워핑 알고리즘을 개발하기 위해.
• 총 저항을 줄임으로써 GNN 성능 향상이 이루어지는지 다수의 그래프 분류 벤치마크에서 실험적으로 검증하기 위해.

제안 방법

• 이론적 분석을 통해 GNN 내 메시지 전파가 노드 쌍 간 효과적 저항의 함수로 상한선을 가짐을 보였다.
• 전체 효과적 저항은 모든 순서 없는 노드 쌍에 대한 효과적 저항의 합으로 정의되며, 총 과도한 압축 정도를 총합으로 나타내는 글로벌 대체 지표로 기능한다.
• 전체 효과적 저항을 가장 크게 줄이는 간선을 반복적으로 추가하는 탐욕적 알고리즘을 제안하여 그래프의 연결성을 향상시켰다.
• 효과적 저항과 라플라시안 행렬 간의 관계를 활용하여 스펙트럼 그래프 이론을 기반으로 효율적인 계산을 수행하였다.
• GNN 학습 이전에 입력 그래프를 리워핑하기 위해 알고리즘을 적용하여 과도한 압축을 완화하는 단서를 생성하였다.
• 다양한 GNN 아키텍처와 데이터셋에서 곡률 기반(SDRF) 및 스펙트럼 갭 기반(FoSR) 리워핑 방법과 성능 비교를 수행하였다.

Figure 1 : Two examples where effective resistance can be easily computed. For vertices $u$ and $v$ connected by several vertex-disjoint paths $p$ , $R_{u,v}=(\sum_{uv\text{-paths }p}\mathrm{length}(p)^{-1})^{-1}$ . Left: $R_{a,b}=6$ , the length of the path. Right: $R_{u,v}=10/9$ .

실험 결과

연구 질문

• RQ1 효과적 저항은 GNN의 과도한 압축 정도를 이론적 경계로 사용할 수 있는가?
• RQ2 전체 효과적 저항은 GNN의 전체 정보 흐름과 성능에 어떤 관계를 가지는가?
• RQ3 전략적인 간선 추가를 통해 전체 효과적 저항을 최소화하면 GNN 성능 향상이 이루어지는가?
• RQ4 제안된 리워핑 전략은 SDRF 및 FoSR와 같은 기존 방법과 비교해 성능 및 확장성 측면에서 어떻게 다른가?
• RQ5 GNN의 은닉 차원을 늘리는 것과 리워핑을 병행할 경우 과도한 압축 완화에 있어 상호 보완적인 전략이 되는가?

주요 결과

• 제안된 GTR 리워핑 방법은 R-GCN 및 R-GIN 모델을 포함한 여러 GNN 아키텍처에서 SDRF를 능가하고 FoSR와 동등한 성능을 보였다.
• R-GCN의 경우 GTR가 FoSR를 뚜렷이 능가하여, 관계 기반 GNN에 대해 전체 저항 최소화가 특히 효과적임을 시사한다.
• 추가할 간선 수에 대한 통합 최적값은 존재하지 않으며, 데이터셋에 따라 달라지며 하이퍼파rameter로 조정되어야 한다.
• 전체 효과적 저항 감소와 GNN 정확도 향상 간 상관관계가 확인되어, 과도한 압축 완화의 대체 지표로 효과적 저항을 사용할 수 있음을 검증하였다.
• 리워핑과 은닉 차원 증가 전략은 상호 보완적이며, 함께 사용할 경우 성능 향상이 뚜렷하게 나타났다.
• 이론적 분석을 통해 스펙트럼 갭보다 전체 효과적 저항이 과도한 압축에 대해 더 날카로운 경계를 제공함을 확인하였으며, 둘 다 그래프 연결성과 관련이 있음이 확인되었다.

Figure 2 : The edges $\{a,b\}$ and $\{u,v\}$ have the same Balanced Forman curvature of $\operatorname{Ric}(a,b)=\operatorname{Ric}(u,v)-6/5$ . However, their effective resistance are different ( $R_{a,b}=1$ and $R_{u,v}=3/5$ ). This shows how the curvature only measure local connectivity and does n