[논문 리뷰] Revisiting Heterophily For Graph Neural Networks

Sitao Luan, Chenqing Hua외 6명|arXiv (Cornell University)|2022. 10. 14.

Advanced Graph Neural Networks인용 수 70

한 줄 요약

이 논문은 합동성(homophily)을 포스트 애그리게이션 노드 유사성으로 재정의하고, 애그리게이션, 다변화(diversification), 정체성 채널을 활용하는 Adaptive Channel Mixing(ACM)을 도입하며, ACM이 이질적 그래프에서 노드 분류 성능을 향상시킨다고 제시한다.

ABSTRACT

Graph Neural Networks (GNNs) extend basic Neural Networks (NNs) by using graph structures based on the relational inductive bias (homophily assumption). While GNNs have been commonly believed to outperform NNs in real-world tasks, recent work has identified a non-trivial set of datasets where their performance compared to NNs is not satisfactory. Heterophily has been considered the main cause of this empirical observation and numerous works have been put forward to address it. In this paper, we first revisit the widely used homophily metrics and point out that their consideration of only graph-label consistency is a shortcoming. Then, we study heterophily from the perspective of post-aggregation node similarity and define new homophily metrics, which are potentially advantageous compared to existing ones. Based on this investigation, we prove that some harmful cases of heterophily can be effectively addressed by local diversification operation. Then, we propose the Adaptive Channel Mixing (ACM), a framework to adaptively exploit aggregation, diversification and identity channels node-wisely to extract richer localized information for diverse node heterophily situations. ACM is more powerful than the commonly used uni-channel framework for node classification tasks on heterophilic graphs and is easy to be implemented in baseline GNN layers. When evaluated on 10 benchmark node classification tasks, ACM-augmented baselines consistently achieve significant performance gain, exceeding state-of-the-art GNNs on most tasks without incurring significant computational burden.

연구 동기 및 목표

• 현재의 합동성 지표와 이들이 GNN의 이질성 영향 설명에 갖는 한계를 비판적으로 평가한다.
• 학습에 대한 그래프 구조 효과를 보다 잘 특징지을 수 있는 포스트 애그리게이션 기반 유사도 프레임워크를 제안한다.
• 노드 분류를 위해 집계(aggregation), 다변화(diversification), 정체성(identity) 채널을 적응적으로 결합하는 ACM을 개발한다.

제안 방법

• 포스트 애그리게이션 노드 유사성 S(Â,X) = ÂX(ÂX)ᵀ 를 정의하고 새로운 애그리게이션 기반 합동성 지표 H_agg 및 H_agg^M를 제시한다.
• I-Â를 통한 다변화가 특정 해로운 이질성 사례를 다룬다.
• 세 가지 채널(LP, HP, Identity)과 이를 노드별 가중치로 결합하는 ACM 프레임워크를 제안한다.
• 명시적 특징 추출, 노드별 채널 가중치, 최종 애그리게이션이 포함된 두 가지 ACM 구현(ACM 및 ACMII)을 제공한다.
• 복잡도 분석: ACM은 파라미터와 연산을 추가하며, 경험적 분석과 효율성 논의를 포함한다.

실험 결과

연구 질문

• RQ1 그래프 집계 후 기존의 합동성 지표가 이질성 효과를 얼마나 잘 포착하지 못하는가?
• RQ2 고역통과 필터링을 통한 다변화가 특정 로컬 이웃에서의 해로운 이질성을 완화할 수 있는가?
• RQ3 적응적 다채널 프레임워크(ACM)가 이질적 그래프에서 uni-channel GNN 베이스라인보다 성능이 더 우수한가?
• RQ4 ACM/ACMII를 사용할 때 정확도 이득과 계산 비용 사이의 실제 트레이드오프는 무엇인가?
• RQ5 ACM 기반 모델이 이질적 및 동질적 벤치마크 데이터셋에서 어떻게 수행하는가?
• RQ6 다변화를 이질성의 해결책으로 지지하는 이론적 보장이나 조건은 무엇인가?

주요 결과

• 새로운 애그리게이션 기반 합동성 지표가 전통적인 에지/노드/클래스 지표보다 GNN 성능과 더 잘 상관관계를 보인다.
• 고역통과 필터링을 통한 다변화가 특정 지역 이웃에서 해로운 이질성을 해결하는 데 도움이 될 수 있다.
• ACM 및 ACMII는 7개의 이질적 벤치마크에서 기준 GNN을 일관되게 개선하고 대부분의 작업에서 최첨단 모델을 능가한다.
• ACM 기반 모델은 동질적 그래프에서도 경쟁력 있는 성능을 달성하고 베이스라인에 비해 관리 가능한 계산 오버헤드를 가진다.
• 노드별 적응형 채널 혼합은 LP, HP, Identity 채널에 대한 노드별 가중치를 학습하여 다양한 로컬 이질성에 유연하게 대응한다.
• 멸성 연구(ablation)에서 HP 및 Identity 채널을 적응형 혼합으로 추가하면 간단한 채널 스태킹보다 의미 있는 이득이 나타난다.