[논문 리뷰] Label-Wise Graph Convolutional Network for Heterophilic Graphs

Enyan Dai, Zhou, Shijie외 2명|arXiv (Cornell University)|2021. 10. 15.

Advanced Graph Neural Networks참고 문헌 32인용 수 5

한 줄 요약

이 논문은 레이블별 메시지 전파를 사용하여 이질적 이웃 컨텍스트를 유지하는 새로운 GNN 프레임워크인 레이블별 그래프 컨볼루션 네트워크(LW-GCN)를 제안한다. 이는 이질적 및 동질적 그래프에서 효과적인 노드 분류를 가능하게 하며, 가짜 레이블 예측기와 이중 최적화를 결합하여 레이블별 GNN와 표준 GNN 간 자동 선택을 수행함으로써, 동질성 수준에 대한 사전 지식 없이 다양한 그래프 유형에서 최신 기술 성능을 달성한다.

ABSTRACT

Graph Neural Networks (GNNs) have achieved remarkable performance in modeling graphs for various applications. However, most existing GNNs assume the graphs exhibit strong homophily in node labels, i.e., nodes with similar labels are connected in the graphs. They fail to generalize to heterophilic graphs where linked nodes may have dissimilar labels and attributes. Therefore, in this paper, we investigate a novel framework that performs well on graphs with either homophily or heterophily. More specifically, we propose a label-wise message passing mechanism to avoid the negative effects caused by aggregating dissimilar node representations and preserve the heterophilic contexts for representation learning. We further propose a bi-level optimization method to automatically select the model for graphs with homophily/heterophily. Theoretical analysis and extensive experiments demonstrate the effectiveness of our proposed framework for node classification on both homophilic and heterophilic graphs.

연구 동기 및 목표

• 기존 GNN이 암묵적인 동질성 가정으로 인해 이질적 그래프에서 실패하는 데 기인한 한계를 해결하기 위해.
• 각 레이블별로 이웃을 별도로 집계하여 이질적 이웃 컨텍스트의 구별 능력을 유지하기 위해.
• 초기에는 레이블이 없는 희박한 레이블을 가진 그래프에서 효과적인 학습을 가능하게 하기 위해.
• 이중 최적화를 통해 그래프 특성에 기반해 동질적 및 이질적 GNN 간 자동으로 선택하기 위해.
• 수동 튜닝 없이 다양한 동질성 수준을 가진 그래프에서 뛰어난 성능을 보장하기 위해.

제안 방법

• 클래스 레이블에 따라 이웃을 집계하는 레이블별 메시지 전파를 도입하여, 컨텍스트에 특화된 표현을 유지한다.
• 노드의 레이블이 누락된 경우에도 초기 레이블을 생성할 수 있는 학습 가능한 가짜 레이블 예측기를 사용하여, 낮은 레이블 비율 환경에서도 레이블별 집계를 가능하게 한다.
• 가짜 레이블 예측기와 검증 데이터에서 최적의 모델(LW-GCN 또는 표준 GNN)을 동시에 학습하기 위해 이중 최적화 프레임워크를 사용한다.
• 백본으로 GCNII를 사용하여 레이블별 GNN와 표준 GNN 모두에서 확장성과 성능를 보장한다.
• 이중 스트림 아키텍처를 적용: 하나는 레이블별 집계를 위한 것이고, 다른 하나는 표준 동질적 메시지 전파를 위한 것으로, 메타학습을 통한 동적 선택을 구현한다.
• 이론적 분석을 통해 레이블별 집계가 이질적 환경에서 표현의 구별 능력을 향상시킨다는 것을 입증한다.

실험 결과

연구 질문

• RQ1 이질성 수준이 표준 GCN 모델의 성능에 어떤 영향을 미치는가?
• RQ2 레이블별 메시지 전파가 이질적 그래프에서 구별 가능한 이웃 컨텍스트를 유지할 수 있는가?
• RQ3 희박한 레이블을 가진 그래프에서 가짜 레이블을 효과적으로 사용하여 레이블별 집계를 가능하게 할 수 있는가?
• RQ4 이중 최적화 전략을 통해 주어진 그래프에 가장 적합한 모델(LW-GCN 또는 표준 GNN)을 자동으로 선택할 수 있는가?
• RQ5 제안된 프레임워크가 동질적 및 이질적 그래프에서 기존 GNN보다 뛰어난 성능을 보일 수 있는가?

주요 결과

• 이질적 그래프인 Texas 데이터셋에서 LW-GCN는 86.2%의 정확도를 기록하여, GCN(57.6%)과 GCNII(68.6%)를 크게 앞서며 이질적 환경에서의 효과성을 입증한다.
• 동질적 그래프인 Cora 데이터셋에서 LW-GCN는 84.3%의 정확도를 달성하여 GCNII와 동일한 성능를 보이며, 표준 GCN(81.6%)을 능가함으로써 뛰어난 일반화 능력을 입증한다.
• 절단 실험 결과 가짜 레이블의 품질이 핵심임을 확인: MLP 레이블 예측기 대신 GCN을 사용하면 이질적 그래프에서 성능이 떨어지며, 정확한 가짜 레이블의 중요성을 강조한다.
• 표준 GNN 스트림(LW-GCN\G)을 제거할 경우 동질적 그래프에서 성능이 악화되며, 이중 스트림 아키텍처의 필요성을 입증한다.
• 표현 분석 결과 LW-GCN는 GCN보다 유의미하게 높은 내부 클래스 유사도와 낮은 간접 클래스 유사도를 보이며, 더 뛰어난 구별 능력을 확인한다.
• 이중 최적화 모듈은 동질적 그래프에서는 GCNII를, 이질적 그래프에서는 LW-GCN를 성공적으로 선택하여 유연성의 타당성을 입증한다.