[논문 리뷰] Revisiting Over-smoothing and Over-squashing Using Ollivier-Ricci Curvature

Khang Nguyen, Hieu Nong외 4명|arXiv (Cornell University)|2022. 11. 28.

Human Pose and Action Recognition인용 수 12

한 줄 요약

이 논문은 Ollivier-Ricci 곡률을 사용하여 그래프 신경망(GNNs)에서 과도한 평탄화와 과도한 압축 현상의 통합 기하학적 프레임워크를 제안한다. 양의 곡률은 과도한 평탄화와 관련이 있고, 음의 곡률은 과도한 압축과 관련이 있음을 증명하며, 이는 국소적 그래프 기하학을 최적화함으로써 최소한의 위상적 교란을 초래하는 새로운 배치 Ollivier-Ricci 플로우(BORF) 리와이어링 방법을 도출한다. 이는 GNN 성능 향상에 기여한다.

ABSTRACT

Graph Neural Networks (GNNs) had been demonstrated to be inherently susceptible to the problems of over-smoothing and over-squashing. These issues prohibit the ability of GNNs to model complex graph interactions by limiting their effectiveness in taking into account distant information. Our study reveals the key connection between the local graph geometry and the occurrence of both of these issues, thereby providing a unified framework for studying them at a local scale using the Ollivier-Ricci curvature. Specifically, we demonstrate that over-smoothing is linked to positive graph curvature while over-squashing is linked to negative graph curvature. Based on our theory, we propose the Batch Ollivier-Ricci Flow, a novel rewiring algorithm capable of simultaneously addressing both over-smoothing and over-squashing.

연구 동기 및 목표

• 국소적 그래프 기하학을 활용하여 GNN에서의 과도한 평탄화와 과도한 압축 현상을 분석하는 통합 이론적 프레임워크를 수립하기 위해.
• Ollivier-Ricci 곡률과 GNN의 두 핵심 문제인 과도한 평탄화 및 과도한 압축 현상 간의 관계를 탐구하기 위해.
• 국소적 그래프 구조를 수정함으로써 동시에 두 문제를 완화하는 곡률 기반 리와이어링 방법을 개발하기 위해.
• 제안된 방법이 노드 및 그래프 분류 벤치마크에서 GNN 성능 향상에 기여하는지 실증적으로 검증하기 위해.
• 위상적 교란을 최소화하면서 성능 향상을 극대화하여 실용적 적용 가능성을 확보하기 위해.

제안 방법

• 모서리 간의 국소적 그래프 구조를 특성화하기 위해 Ollivier-Ricci 곡률을 국소 기하 측도로 사용하여 이웃 노드 간의 곡률을 정량화한다.
• 이론적으로 고양성 곡률을 가진 간선은 특징의 균일화를 유도하며, 깊은 GNN에서 과도한 평탄화와 관련이 있음을 증명한다.
• 낮은(특히 음의) 곡률을 가진 간선은 봉쇄 지점으로서 정보의 봉쇄 현상과 관련이 있으며, 과도한 압축 현상과 연관됨을 보여준다.
• 고곡률 영역에 간선을 추가하고 저곡률 영역에서 간선을 제거함으로써 정보 흐름을 균형 잡는, 미분 가능하고 배치 기반의 리와이어링 알고리즘인 배치 Ollivier-Ricci 플로우(BORF)를 제안한다.
• 국소적 그래프 곡률 분포를 최적화하여 과도한 평탄화와 과도한 압축 현상을 줄이기 위해 곡률 인식 손실 함수를 활용한다.
• 모델 아키텍처를 변경하지 않고도 학습 중에 동적으로 그래프를 리와이어링함으로써 특징 표현 학습을 향상시키는 BORF를 적용한다.

실험 결과

연구 질문

• RQ1 Ollivier-Ricci 곡률은 GNN에서 과도한 평탄화와 과도한 압축 현상의 메커니즘과 어떻게 관련이 있는가?
• RQ2 곡률 기반 분석이 과도한 평탄화와 과도한 압축 현상에 대한 통합 기하학적 설명을 제공할 수 있는가?
• RQ3 곡률 기반 그래프 리와이어링이 동시에 과도한 평탄화와 과도한 압축 현상을 얼마나 효과적으로 완화할 수 있는가?
• RQ4 성능 및 위상적 안정성 측면에서 제안된 BORF 방법은 기존의 리와이어링 기법과 어떻게 비교되는가?
• RQ5 리와이어링 과정에서 위상적 변화를 최소화함으로써 그래프 구조를 유지하면서 GNN의 일반화 성능을 향상시킬 수 있는가?

주요 결과

• 높은 양의 Ollivier-Ricci 곡률은 과도한 평탄화와 강하게 상관되며, 고곡률 간선은 노드 표현이 너무 빨리 수렴하게 한다.
• 음의 곡률은 정보 봉쇄 현상으로 인해 발생하는 그래프 봉쇄 지점을 식별하며, 이는 먼 거리의 노드로부터 온 정보가 고정 크기의 특징으로 압축되는 과도한 압축 현상과 관련이 있다.
• Cora 데이터셋에서 BORF는 GCN 기반으로 86.2%의 테스트 정확도를 달성하였으며, 동일한 설정에서 SDRF(84.1%)와 FoSR(85.3%)를 모두 앞서나갔다.
• Citeseer 데이터셋에서 BORF는 GCN 기반으로 78.9%의 정확도를 기록하였으며, FoSR(77.6%)와 SDRF(76.8%)를 모두 능가하여 일관된 성능 향상을 보였다.
• BORF는 최소한의 위상적 변화를 초래하였으며, Chameleon 데이터셋에서 원본 도수 분포와의 Wasserstein 거리는 0.00026으로, FoSR(0.00069)보다 유의미하게 낮았다.
• GIN 모델에서는 BORF가 모든 데이터셋에서 최고의 성능을 기록하였으며, 베이스라인 대비 평균 2.1%의 정확도 향상을 기록하였고, SDRF 대비 1.3%의 향상도 기록하였다.