[논문 리뷰] FoSR: First-order spectral rewiring for addressing oversquashing in GNNs

Kedar Karhadkar, Pradeep Banerjee외 1명|arXiv (Cornell University)|2022. 10. 21.

Advanced Graph Neural Networks인용 수 7

한 줄 요약

FoSR는 스펙트럼 갭을 최대화하여 오버스쿼시ング을 줄이고, 관계형 아키텍처를 통해 원본 그래프 구조를 유지함으로써 오버스무딩을 방지하는 1차 스펙트럼 리워이어링 방법을 제안한다. 실험 결과, REDDIT-BINARY 및 COLLAB와 같은 데이터셋에서 기존 방법들을 능가하며 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Graph neural networks (GNNs) are able to leverage the structure of graph data by passing messages along the edges of the graph. While this allows GNNs to learn features depending on the graph structure, for certain graph topologies it leads to inefficient information propagation and a problem known as oversquashing. This has recently been linked with the curvature and spectral gap of the graph. On the other hand, adding edges to the message-passing graph can lead to increasingly similar node representations and a problem known as oversmoothing. We propose a computationally efficient algorithm that prevents oversquashing by systematically adding edges to the graph based on spectral expansion. We combine this with a relational architecture, which lets the GNN preserve the original graph structure and provably prevents oversmoothing. We find experimentally that our algorithm outperforms existing graph rewiring methods in several graph classification tasks.

연구 동기 및 목표

• 그래프 구조적 병목 현상으로 인해 장거리 메시지 전파가 제한되는 GNN의 오버스쿼시ング 문제를 해결하기 위해.
• 엣지 추가를 통해 그래프를 리워이어링할 때 발생하는 오버스쿼시ング과 오버스무딩 사이의 상충 관계를 극복하기 위해.
• 원본 위상 정보를 잃지 않으면서도 스펙트럼 확장성을 향상시키는 계산적으로 효율적인 리워이어링 전략을 개발하기 위해.
• 원본 엣지와 리워이어드 엣지를 메시지 전파 중 구분할 수 있도록 관계형 메시지 전파 메커니즘을 통합하여 오버스무딩에 대한 이론적 보장을 제공하기 위해.
• 표준 그래프 분류 벤치마크에서 스펙트럼 갭 최대화를 위한 1차 최적화가 GNN 성능 향상에 기여하는지 경험적으로 검증하기 위해.

제안 방법

• FoSR는 그래프의 스펙트럼 갭을 최대화하는 엣지를 반복적으로 추가함으로써 연결성을 향상시키고 구조적 병목 현상을 줄인다.
• 스펙트럼 갭을 목적 함수로 사용하여 엣지 가중치에 기반한 기울기 기반 업데이트를 수행함으로써 효율적이고 확장 가능한 리워이어링을 가능하게 한다.
• 리워이어드 엣지에 서로 다른 유형을 할당함으로써 메시지 전파 중 원본 엣지와 구분할 수 있도록 관계형 GNN 아키텍처를 사용한다.
• 모든 원본 엣지를 유지하고 새로운 엣지만 추가하므로 위상 구조의 충실도를 유지한다.
• 스펙트럼 갭은 페일러 값(라플라시안의 두 번째로 작은 고유값)을 사용하여 계산되며, 이의 기울기를 이용해 엣지 추가를 유도한다.
• 알고리즘은 반복적으로 적용되며, 각 단계에서 스펙트럼 갭을 가장 크게 증가시키는 엣지 추가를 선택한다.

실험 결과

연구 질문

• RQ1 스펙트럼 갭의 1차 최적화가 모델 표현력에 영향을 주지 않으면서도 GNN의 오버스쿼시ング을 효과적으로 줄일 수 있는가?
• RQ2 스펙트럼 확장을 향상시키기 위해 엣지를 추가하는 것이 그래프 분류 작업에서 일반화 성능 향상에 기여하는가?
• RQ3 중대한 그래프 리워이어링이 적용될 경우 관계형 GNN 아키텍처가 오버스무딩을 방지할 수 있는가?
• RQ4 다양한 그래프 데이터셋에서 SDRF 및 G-RLEF와 같은 기존 리워이어링 방법과 비교할 때 FoSR의 성능 및 내구성은 어떠한가?
• RQ5 스펙트럼 갭 최대화가 GNN의 학습 동역학과 수렴에 어떤 영향을 미치는가?

주요 결과

• REDDIT-BINARY 데이터셋에서 FoSR는 R-GCN을 사용해 76.590±0.531%의 최고 테스트 정확도를 기록했으며, SDRF(58.620±0.647%)와 베이스라인(49.850±0.653%)을 모두 능가했다.
• COLLAB 데이터셋에서 FoSR는 R-GCN을 사용해 70.650±0.482%의 정확도를 달성했으며, 베이스라인(33.602±1.047%)과 SDRF(67.990±0.386%)를 크게 앞섰다.
• GIN 아키텍처에서 FoSR는 REDDIT-BINARY에서 89.665±0.416%의 정확도를 기록했으며, 다음으로 우수한 성능을 보인 SDRF(86.825±0.523%)와 베이스라인(86.785±1.056%)을 초월했다.
• PROTEINS 데이터셋에서 FoSR는 R-GIN을 사용해 74.670±0.692%의 정확도를 기록했으며, SDRF(70.696±0.815%)와 베이스라인(70.500±0.809%)을 모두 앞섰다.
• FoSR는 R-GCN, GIN, R-GIN을 포함한 모든 테스트된 GNN 아키텍처와 데이터셋에서 일관되게 성능 향상을 보이며, 강건성과 일반화 능력을 입증했다.
• 각 리워이어링 반복 과정에서 스펙트럼 갭이 증가하고, 이는 학습 정확도 향상과 상관관계를 보이며, 본 방법의 설계 원리가 검증됨을 입증했다.