[논문 리뷰] Generalizing Graph Neural Networks Beyond Homophily.

Jiong Zhu, Yujun Yan외 4명|arXiv (Cornell University)|2020. 06. 20.

Advanced Graph Neural Networks참고 문헌 16인용 수 11

한 줄 요약

이 논문은 이질성( heterophily) 환경에서 기존 GNN의 한계를 극복하기 위해 설계된 그래프 신경망 아키텍처인 H2GCN을 제안한다. 이는 연결된 노드가 레이블이나 특징이 다를 가능성이 높은 상황에서 발생한다. H2GCN는 자가-이웃 임베딩 분리, 고차원 이웃 집합화, 중간 표현 융합을 통합함으로써 저에서 고수준의 동질성 스펙트럼 전반에서 뛰어난 성능을 달성하며, 표준 GNN과 구조 무시 모델인 MLP와 비교해도 슈퍼리어한 성능을 보인다.

ABSTRACT

We investigate the representation power of graph neural networks in the semi-supervised node classification task under heterophily or low homophily, i.e., in networks where connected nodes may have different class labels and dissimilar features. Most existing GNNs fail to generalize to this setting, and are even outperformed by models that ignore the graph structure (e.g., multilayer perceptrons). Motivated by this limitation, we identify a set of key designs -- ego- and neighbor-embedding separation, higher-order neighborhoods, and combination of intermediate representations -- that boost learning from the graph structure under heterophily, and combine them into a new graph convolutional neural network, H2GCN. Going beyond the traditional benchmarks with strong homophily, our empirical analysis on synthetic and real networks shows that, thanks to the identified designs, H2GCN has consistently strong performance across the full spectrum of low-to-high homophily, unlike competitive prior models without them.

연구 동기 및 목표

• 기존 GNN이 낮은 동질성 또는 이질성 환경에서 일반화 능력이 떨어지는 문제를 해결하기 위해.
• 이질성 환경에서 그래프 구조를 효과적으로 학습할 수 있도록 하는 핵심 아키텍처 구성 요소를 규명하기 위해.
• 전체 동질성 수준 스펙트럼에서 뛰어난 성능을 유지하는 새로운 GNN 모델인 H2GCN를 개발하기 위해.
• H2GCN가 표준 GNN과 MLP와 같은 구조 무시 모델보다 낮은 동질성 환경에서 슈퍼리어한 성능을 보임을 입증하기 위해.

제안 방법

• H2GCN는 메시지 전파 과정에서 자가 노드의 표현과 이웃의 표현을 분리함으로써 이질성 환경에서 더 세밀한 학습이 가능하도록 한다.
• 근접한 이웃을 초월한 구조적 패턴을 포착하기 위해 고차원 이웃 집합화를 적용함으로써 다양한 그래프 구조에서의 강건성을 향상시킨다.
• 다양한 레이어에서 유도된 중간 표현을 융합함으로써 특징 표현력과 일반화 능력을 향상시킨다.
• 자기 노드와 이웃의 특징 학습을 분리하는 수정된 그래프 컨볼루션 메커니즘을 사용함으로써, 상이한 특징을 가진 연결된 노드에 더 잘 적응할 수 있도록 한다.
• 스킵 연결과 잔차 학습을 통합하여 학습 안정성과 기울기 흐름을 향상시킨다.
• 최종 예측 헤드는 다중 레이어의 표현을 통합하여 노드 분류 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 기존 GNN은 연결된 노드가 자주 다른 레이블을 가지는 낮은 동질성 또는 이질성 환경에서 효과적으로 일반화될 수 있는가?
• RQ2 이질성 환경에서 의미 있는 표현을 학습할 수 있도록 GNN의 능력을 향상시키기 위해 필수적인 아키텍처 구성 요소는 무엇인가?
• RQ3 H2GCN의 설계, 특히 자가-이웃 분리와 고차원 집합화가 동질성 수준 전반에서 성능 향상에 어떻게 기여하는가?
• RQ4 H2GCN는 낮은 동질성 시나리오에서 표준 GNN과 MLP와 같은 구조에 민감하지 않은 모델보다 슈퍼리어한 성능을 보이는가?
• RQ5 제안된 구성 요소들을 하나의 아키텍처에 통합하여 전체 동질성 수준 스펙트럼에서 잘 일반화되는가?

주요 결과

• H2GCN는 이전 모델이 낮은 동질성 영역에서 성능이 저하되는 것과 달리, 저에서 고수준의 동질성 수준 전반에서 일관되게 뛰어난 성능을 달성한다.
• 낮은 동질성 환경에서 H2GCN는 표준 GNN과 그래프 구조를 무시하는 다층 퍼셉트론(Multilayer Perceptrons)조차도 앞선다.
• 제거 실험을 통해 자가-이웃 임베딩 분리, 고차원 이웃, 중간 표현 융합이 이질성 환경에서 강건한 성능을 내기 위해 모두 필수적임을 확인했다.
• H2GCN는 다양한 동질성 수준을 가진 합성 및 실세계 네트워크에서 높은 성능을 유지하며, 전통적 벤치마크를 초월한 일반화 능력을 보였다.
• 모델의 설계 덕분에 노드 특징과 레이블이 간선을 따라 상이한 경우에도 그래프 구조를 효과적으로 학습할 수 있으며, 이는 대부분의 GNN이 실패하는 영역이다.