[논문 리뷰] Beyond Homophily in Graph Neural Networks: Current Limitations and Effective Designs

Jiong Zhu, Yujun Yan외 4명|arXiv (Cornell University)|2020. 06. 19.

Advanced Graph Neural Networks인용 수 265

한 줄 요약

논문은 GNNs가 이질성(heterophily)에서 어려움을 겪고 D1–D3 및 H2GCN 디자인을 도입하여 이질성에서 최대 40% 정확도 향상을 달성하고 동질성(homophily) 하에서도 경쟁력 있는 성능을 보여준다.

ABSTRACT

We investigate the representation power of graph neural networks in the semi-supervised node classification task under heterophily or low homophily, i.e., in networks where connected nodes may have different class labels and dissimilar features. Many popular GNNs fail to generalize to this setting, and are even outperformed by models that ignore the graph structure (e.g., multilayer perceptrons). Motivated by this limitation, we identify a set of key designs -- ego- and neighbor-embedding separation, higher-order neighborhoods, and combination of intermediate representations -- that boost learning from the graph structure under heterophily. We combine them into a graph neural network, H2GCN, which we use as the base method to empirically evaluate the effectiveness of the identified designs. Going beyond the traditional benchmarks with strong homophily, our empirical analysis shows that the identified designs increase the accuracy of GNNs by up to 40% and 27% over models without them on synthetic and real networks with heterophily, respectively, and yield competitive performance under homophily.

연구 동기 및 목표

• 이질성/저동질성 하에서 반지도학 노드 분류에서 GNN의 표현력 탐구.
• 동질성에서 성능 저하 없이 그래프 구조로부터 학습을 향상시키는 설계 원칙을 식별한다.
• 이질성 및 동질성 모두에 적응하는 통합 모델(H2GCN)을 제안하고 합성 및 실제 네트워크에서 그 효과를 평가한다.

제안 방법

• 이질성에 대한 세 가지 핵심 설계 식별: ego- 및 neighbor-임베딩 분리(D1), 고차 이웃(D2), 중간 표현의 조합(D3).
• 각 설계의 이론적 정당성을 제시하고 이를 H2GCN 프레임워크에 통합한다.
• S1에서 특징 임베딩으로 H2GCN 구현, S2에서 두 서브이웃 집계(N1 및 N2), 그리고 결합 기반 최종 표현(S3).
• 동질성 스펙트럼에 걸친 합성 및 실제 네트워크에서 평가하고, 설계 기여도를 정량화하기 위한 제거 실험(ablation studies)을 포함한다.
• 이질성에서의 이득과 동질성에서의 동등성을 평가하기 위해 베이스라인 GNN 및 MLP와 비교한다.

실험 결과

연구 질문

• RQ1 반지도형 노드 분류에서 서로 다른 수준의 동질성/이질성 네트워크에서 GNN은 어떻게 성능을 보이나?
• RQ2 ego-임베딩 대 neighbor-임베딩 분리, 고차 이웃, 중간 표현의 결합이 이질성 하에서 학습을 개선하는가?
• RQ3 통합 모델(H2GCN)이 이질성 및 동질성에 모두 적응하고 다양한 데이터셋에서 기존 GNN을 능가할 수 있는가?
• RQ4 각 설계 구성요소(D1–D3)의 실험적 영향은 합성 및 실제 데이터셋에서 무엇인가?

주요 결과

• 기존 GNN은 이질성 하에서 성능이 저하되며, 때때로 그래프에 의존하지 않는 MLP를 능가하기도 한다.
• 설계 D1–D3가 이질성에서 그래프 구조로부터의 학습을 크게 향상시키며, 제거 연구에서 합성 데이터에서 최대 40%의 이득을 보인다.
• H2GCN, combining D1–D3, achieves strong performance across the spectrum of homophily and outperforms several baselines in heterophily settings.
• On real benchmarks with heterophily, models leveraging these designs outperform non-design models by up to 27%.
• Higher-order neighborhoods (D2) are especially beneficial under heterophily, while ego-embedding separation (D1) is critical for low homophily; combining intermediate representations (D3) further enhances accuracy.