[논문 리뷰] Graph Neural Networks with Heterophily

Jiong Zhu, Ryan A. Rossi외 5명|arXiv (Cornell University)|2020. 09. 28.

Advanced Graph Neural Networks인용 수 9

한 줄 요약

이 논문은 동일한 클래스에 속한 노드 간 연결을 암묵적으로 가정하는 기존 GNN의 한계를 해결하기 위해, 클래스 수준의 연결 가능성과 관련된 해석 가능한 호환성 행렬을 학습하는 CPGNN라는 새로운 그래프 신경망 프레임워크를 제안한다. 이 방법은 노드 특징에 대한 의존도를 최소화하면서도, 저자료 및 특징이 없는 상황에서도 기존 GNN보다 뛰어난 성능을 보이며, 동형성 설정에서도 강력한 성능을 유지한다.

ABSTRACT

Graph Neural Networks (GNNs) have proven to be useful for many different practical applications. However, many existing GNN models have implicitly assumed homophily among the nodes connected in the graph, and therefore have largely overlooked the important setting of heterophily, where most connected nodes are from different classes. In this work, we propose a novel framework called CPGNN that generalizes GNNs for graphs with either homophily or heterophily. The proposed framework incorporates an interpretable compatibility matrix for modeling the heterophily or homophily level in the graph, which can be learned in an end-to-end fashion, enabling it to go beyond the assumption of strong homophily. Theoretically, we show that replacing the compatibility matrix in our framework with the identity (which represents pure homophily) reduces to GCN. Our extensive experiments demonstrate the effectiveness of our approach in more realistic and challenging experimental settings with significantly less training data compared to previous works: CPGNN variants achieve state-of-the-art results in heterophily settings with or without contextual node features, while maintaining comparable performance in homophily settings.

연구 동기 및 목표

• 기존 GNN가 연결된 노드가 동일한 클래스에 속한다는 암묵적 가정을 내포하고 있어, 이형성이 있는 실제 그래프에서 성능이 저하되는 문제를 해결하기 위해.
• 실제 응용에서 자주 부족하거나 불완전한 문맥적 노드 특징에 대한 의존도를 줄이기 위해.
• 그래프 내에서 동형성과 이형성 패턴을 모두 포괄하는 클래스 호환성 행렬을 종단 간 학습할 수 있도록 하기 위해.
• 해석 가능하고 일반화 능력이 뛰어난 프레임워크를 제공하여, 동형성 및 이형성 그래프 구조 모두에 대해 GNN의 성능을 향상시키기 위해.

제안 방법

• CPGNN는 서로 다른 클래스의 노드 간 연결 가능성 확률을 모델링하기 위해 학습 가능한 호환성 행렬 $\mathbf{H}$ 를 도입하여, 동형성과 이형성 모두에 적응할 수 있도록 한다.
• 프레임워크는 기존의 신경망을 활용해 노드의 초기 신뢰도 추정치를 생성하고, 이를 학습된 $\mathbf{H}$ 행렬을 통해 그래프 전파한다.
• 메시지 전파를 통해 노드 표현을 업데이트하며, 각 노드는 이웃 노드의 신뢰도를 호환성 행렬의 요소에 따라 가중 평균하여 집계한다.
• 호환성 행렬 $\mathbf{H}$ 는 모델의 나머지 부분과 함께 종단 간 학습되며, 제한된 훈련 데이터에서도 기저의 연결 패턴을 복구할 수 있도록 한다.
• 이 방법은 GCN를 일반화한다: $\mathbf{H}$ 가 항등행렬로 설정될 경우(순수한 동형성), CPGNN는 GCN로 축소된다.
• 이 프레임워크는 특징이 풍부한 경우와 특징이 없는 경우 모두 지원하여, 현실적인 저자료 상황에서도 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 강한 동형성 가정에 의존하지 않고도 동형성 및 이형성 그래프를 모두 다룰 수 있는 GNN 프레임워크를 일반화할 수 있는가?
• RQ2 종단 간 학습된 호환성 행렬은 실제 그래프의 복잡한 노드 연결 패턴을 얼마나 효과적으로 모델링할 수 있는가?
• RQ3 CPGNN는 기존 GNN이 실패하는 저자료 및 특징이 없는 설정에서도 강력한 성능을 유지할 수 있는가?
• RQ4 학습된 호환성 행렬이 그래프의 구조적 특성에 대해 얼마나 해석 가능한 통찰을 제공하는가?

주요 결과

• CPGNN는 이형성 설정에서 최고 성능을 기록하며, 이는 이전 연구들보다 훨씬 적은 훈련 샘플을 사용한 경우에도 성립한다.
• 동형성 설정에서는 기준 GNN 모델과 유사한 성능을 유지하여, 모델의 일반화 능력을 입증한다.
• 특징이 없는 설정에서는 CPGNN가 학습된 호환성 행렬을 활용해 노드 특징 없이도 구조적 패턴을 추론함으로써 기존 GNN을 능가한다.
• 호환성 행렬 $\mathbf{H}$ 는 해석 가능하다: 히트맵 분석 결과, 행렬 요소들이 학습 과정에서 안정화되며 진짜 연결 패턴과 일치함을 확인할 수 있다.
• 행렬 $\mathbf{H}$ 가 항등행렬로 설정될 경우 CPGNN는 GCN로 축소되며, 이는 존재하는 GNN들과 이론적으로 일관됨을 검증한다.
• 광범위한 실험을 통해 $\mathbf{H}$ 의 종단 간 학습이 제한된 데이터에서도 기저의 호환성 정보를 효과적으로 복구할 수 있음을 확인했다.