[논문 리뷰] Learning Invariant Representations of Graph Neural Networks via Cluster Generalization

Donglin Xia, Xiao Wang외 2명|arXiv (Cornell University)|2024. 03. 06.

Advanced Graph Neural Networks인용 수 4

한 줄 요약

이 논문은 노드 간의 클러스터 수준 통계(평균 및 분산)를 전달함으로써 그래프 구조의 변화에 대해 그래프 신경망(GNN)의 강건성을 향상시키는 플러그인 기반 메커니즘인 클러스터 정보 전달(CIT)을 제안한다. 이 과정에서 클러스터에 의존하지 않는 특징을 유지한다. 이 방법은 다양한 미지의 테스트 그래프에서 일반화 성능을 향상시키며, 다수의 구조 이탈 시나리오에서 일관된 성능 향상이 관찰된다.

ABSTRACT

Graph neural networks (GNNs) have become increasingly popular in modeling graph-structured data due to their ability to learn node representations by aggregating local structure information. However, it is widely acknowledged that the test graph structure may differ from the training graph structure, resulting in a structure shift. In this paper, we experimentally find that the performance of GNNs drops significantly when the structure shift happens, suggesting that the learned models may be biased towards specific structure patterns. To address this challenge, we propose the Cluster Information Transfer (CIT) mechanism (Code available at https://github.com/BUPT-GAMMA/CITGNN), which can learn invariant representations for GNNs, thereby improving their generalization ability to various and unknown test graphs with structure shift. The CIT mechanism achieves this by combining different cluster information with the nodes while preserving their cluster-independent information. By generating nodes across different clusters, the mechanism significantly enhances the diversity of the nodes and helps GNNs learn the invariant representations. We provide a theoretical analysis of the CIT mechanism, showing that the impact of changing clusters during structure shift can be mitigated after transfer. Additionally, the proposed mechanism is a plug-in that can be easily used to improve existing GNNs. We comprehensively evaluate our proposed method on three typical structure shift scenarios, demonstrating its effectiveness in enhancing GNNs' performance.

연구 동기 및 목표

• 실제 그래프에서 흔한 분포 이탈의 한 형태인 그래프 구조 이탈 상황에서 GNN의 성능 저하 문제를 해결하기 위해.
• 추론 시 그래프 위상의 변화에 강건한 불변 표현을 학습할 수 있는 방법을 개발하기 위해.
• 기존 GNN 아키텍처와 호환되며 아키텍처의 대대적 수정 없이 일반화 성능을 향상시킬 수 있는 플러그인 솔루션을 제공하기 위해.
• 클러스터 정보 전달가 구조 이탈 중 변화하는 클러스터 할당의 영향을 완화함을 이론적·실험적으로 검증하기 위해.

제안 방법

• 기존 GNN을 적용해 초기 노드 표현을 학습한 후, 스펙트럼 클러스터링을 사용해 그래프 내의 클러스터 구조를 식별한다.
• 각 클러스터를 두 통계량인 클러스터 평균과 클러스터 분산으로 특징화하며, 이는 이동 가능한 정보로 기능한다.
• 이러한 통계량을 기반으로 노드를 새로운 클러스터로 재할당하면서도, 고유한 클러스터에 의존하지 않는 특징을 유지한다.
• 새로 생성된 노드 표현을 기반으로 GNN을 학습하여 다양한 클러스터 구성에 걸쳐 일반화 성능을 향상시킨다.
• 다양한 GNN 모델에 적용할 수 있도록 최소한의 수정으로 구현 가능한 플러그인 레이어로서 CIT 메커니즘을 통합한다.
• 이론적 분석을 통해 추론 중 클러스터 이탈의 영향이 정보 전달 이후에 완화됨을 확인하였으며, 이는 강건성을 뒷받침한다.

실험 결과

연구 질문

• RQ1 테스트 그래프의 구조가 학습 시 구조와 다를 경우 GNN은 안정적인 성능을 유지할 수 있는가?
• RQ2 어떻게 하면 GNN이 구조 이탈 상황에서도 불변 표현을 학습할 수 있는가?
• RQ3 클러스터 수준의 통계량을 효과적으로 활용해 일반화 성능 향상을 위한 다양한 훈련 환경을 생성할 수 있는가?
• RQ4 CIT 메커니즘이 그래프 구조 이탈로 인한 성능 저하를 어느 정도 감소시킬 수 있는가?

주요 결과

• 표준 GNN은 구조 이탈 상황에서 성능이 심각하게 저하되며, 특정 그래프 구조에 강한 편향을 지닌다는 점을 확인하였다.
• CIT 메커니즘은 엣지 추가 및 제거를 포함한 세 가지 유형의 구조 이탈 시나리오에서 일관되게 GNN 성능을 향상시켰다.
• 클러스터링 품질을 실루엣 계수로 측정한 결과, 모델의 정확도와 강하게 상관관계가 있었으며, 이는 효과적인 클러스터링이 CIT 성능 향상에 기여함을 시사한다.
• 클러스터 수 및 전달 확률과 같은 하이퍼파rameter에 대해 강건하여 다양한 설정에서도 안정적인 성능을 보였다.
• 이론적 분석을 통해 CIT를 통한 정보 전달 이후에 클러스터 변화의 영향이 완화됨을 확인하였으며, 이는 강건성을 뒷받침한다.
• CIT 메커니즘은 아키텍처 변경 없이 다양한 GNN 모델에 적용 가능한 플러그 앤 플레이 개선 기법임을 확인하였다.