[논문 리뷰] Make Heterophily Graphs Better Fit GNN: A Graph Rewiring Approach

Wendong Bi, Lun Du외 4명|arXiv (Cornell University)|2022. 09. 17.

Advanced Graph Neural Networks인용 수 5

한 줄 요약

이 논문은 이질성 그래프에서 GNN 성능을 향상시키기 위해 이웃 노드의 레이블 및 특징 분포 유사도를 바탕으로 유사한 레이블을 가진 노드 간에 동질성 엣지를 전략적으로 추가하고 이질성 엣지를 제거함으로써 동질성 수준을 높이는 새로운 그래프 리와이어링 방법인 Deep Heterophily Graph Rewiring (DHGR)을 제안한다. DHGR는 아키텍처 변경 없이도 11개의 공개 데이터셋에서 GNN 성능을 크게 향상시킬 수 있는 플러그인 형태의 사전처리 모듈로 기능한다.

ABSTRACT

Graph Neural Networks (GNNs) are popular machine learning methods for modeling graph data. A lot of GNNs perform well on homophily graphs while having unsatisfactory performance on heterophily graphs. Recently, some researchers turn their attention to designing GNNs for heterophily graphs by adjusting the message passing mechanism or enlarging the receptive field of the message passing. Different from existing works that mitigate the issues of heterophily from model design perspective, we propose to study heterophily graphs from an orthogonal perspective by rewiring the graph structure to reduce heterophily and making the traditional GNNs perform better. Through comprehensive empirical studies and analysis, we verify the potential of the rewiring methods. To fully exploit its potential, we propose a method named Deep Heterophily Graph Rewiring (DHGR) to rewire graphs by adding homophilic edges and pruning heterophilic edges. The detailed way of rewiring is determined by comparing the similarity of label/feature-distribution of node neighbors. Besides, we design a scalable implementation for DHGR to guarantee high efficiency. DHRG can be easily used as a plug-in module, i.e., a graph pre-processing step, for any GNNs, including both GNN for homophily and heterophily, to boost their performance on the node classification task. To the best of our knowledge, it is the first work studying graph rewiring for heterophily graphs. Extensive experiments on 11 public graph datasets demonstrate the superiority of our proposed methods.

연구 동기 및 목표

• 기존 GNN 모델이 이질성 그래프에서 성능이 열악한 문제를 해결하기 위해.
• GNN 아키텍처를 수정하는 것과는 별개로, 그래프 리와이어링을 이질성 문제에 대한 독립적인 해결책으로 탐색하기 위해.
• 과적합을 방지하면서도 확장 가능하고 학습 가능한 그래프 리와이어링 방법을 설계하기 위해.
• 기존 GNN 모델이 사전처리를 통해 이질성 및 동질성 그래프 양쪽에서 더 나은 성능을 내도록 하기 위해.
• 리와이어링가 이질성 감소와 노드 분류 정확도 향상에 효과적인지 검증하기 위해.

제안 방법

• DHGR는 이웃 노드 간의 레이블 분포 유사도를 기반으로 유사한 레이블을 가진 노드 간에 엣지를 추가하고, 다를 경우 엣지를 제거함으로써 입력 그래프를 재구성한다.
• 엣지 수정은 이웃 노드 간의 레이블 및 특징 분포 유사도를 비교하여 유도된다.
• 기하학적이고 확장 가능한 최적화 전략을 통해 대규모 그래프에서 선형 시간 복잡도를 보장한다.
• 이 방법은 GNN 모델의 메시지 전파와 그래프 구조를 분리하는 플러그인 형태의 사전처리 단계로 작동한다.
• 학습 세트 노드에 집중함으로써 과적합을 방지하면서도 구조적 통합성을 유지한다.
• GNN과 함께 엔드 투 엔드로 훈련할 수 있도록 이중 최적화 프레임워크를 사용한다.

실험 결과

연구 질문

• RQ1 구조적 리와이어링을 통해 그래프의 이질성을 줄이면 노드 분류 작업에서 GNN 성능이 향상되는가?
• RQ2 리와이어링을 통한 동질성 수준 증가가 이질성 그래프에서 표준 GNN의 성능에 어떤 영향을 미치는가?
• RQ3 대규모 이질성 그래프에 대해 효과적이고 확장 가능한 학습 가능한 그래프 리와이어링 방법을 설계할 수 있는가?
• RQ4 DHGR는 동질성 또는 이질성에 최적화된 아키텍처를 가진 다양한 GNN 아키텍처에 일반화되는가?
• RQ5 이웃 분포 유사도는 최적의 엣지 리와이어링 결정에 어떤 영향을 미치는가?

주요 결과

• DHGR는 11개의 공개 이질성 그래프 데이터셋에서 GNN 성능을 크게 향상시키며, 다양한 GNN 아키텍처에서 일관된 성능 향상을 보였다.
• 몇몇 벤치마크 데이터셋에서 최신 기술(SOTA) 성능을 달성하여 동질성 최적화 및 이질성 최적화된 GNN을 모두 능가했다.
• 리와이어링을 통한 동질성 수준 증가가 더 높은 노드 분류 정확도로 이어지며, 핵심 가설을 확인했다.
• 제거 실험 결과, 엣지 추가와 제거 모두 성능 향상에 기여하며, 레이블 분포 유사도가 핵심 요소임을 입증했다.
• DHGR의 확장 가능한 구현은 선형 시간 복잡도를 유지하여 대규모 그래프에 효율적으로 적용 가능했다.
• DHGR는 동질성 그래프에도 잘 일반화되어 성능 저하 없이 경쟁 가능한 성능을 달성했다.