[논문 리뷰] Is Heterophily A Real Nightmare For Graph Neural Networks To Do Node Classification?

Sitao Luan, Chenqing Hua외 6명|arXiv (Cornell University)|2021. 09. 12.

Advanced Graph Neural Networks참고 문헌 40인용 수 44

한 줄 요약

이 논문은 이질성(heterophily)이 항상 GNN에 해롭지 않다고 주장하고, 유사도 기반의 집계 지표와 다변화(diversification) 연산을 도입하며, Adaptive Channel Mixing (ACM)을 제시하여 저주파/고주파 그래프 정보를 활용하고, 실제 세계의 노드 분류 작업에서 강력한 성능 향상을 달성한다.

ABSTRACT

Graph Neural Networks (GNNs) extend basic Neural Networks (NNs) by using the graph structures based on the relational inductive bias (homophily assumption). Though GNNs are believed to outperform NNs in real-world tasks, performance advantages of GNNs over graph-agnostic NNs seem not generally satisfactory. Heterophily has been considered as a main cause and numerous works have been put forward to address it. In this paper, we first show that not all cases of heterophily are harmful for GNNs with aggregation operation. Then, we propose new metrics based on a similarity matrix which considers the influence of both graph structure and input features on GNNs. The metrics demonstrate advantages over the commonly used homophily metrics by tests on synthetic graphs. From the metrics and the observations, we find some cases of harmful heterophily can be addressed by diversification operation. With this fact and knowledge of filterbanks, we propose the Adaptive Channel Mixing (ACM) framework to adaptively exploit aggregation, diversification and identity channels in each GNN layer to address harmful heterophily. We validate the ACM-augmented baselines with 10 real-world node classification tasks. They consistently achieve significant performance gain and exceed the state-of-the-art GNNs on most of the tasks without incurring significant computational burden.

연구 동기 및 목표

• 이질성이 항상 GNN에 해를 끼친다는 일괄적 가정에 의문을 제기하고, 집계가 여전히 효과적인 경우를 식별한다.
• 그래프 구조와 노드 특성이 GNN 출력에 미치는 영향을 유사도 행렬로 포착하는 새로운 지표를 개발한다.
• 다양화(고주파) 채널이 집계와 함께 작용할 때 발생하는 해로운 이질성 문제를 해결하는 데 도움이 될 수 있음을 보여준다.
• 노드별 채널 가중치를 학습하고 LP, HP, Identity 채널을 각 그래프 신경망 층에서 결합하는 Adaptive Channel Mixing(ACM/ACMII) 프레임워크를 제안하고 검증한다.
• ACM이 보강된 baselines가 10개의 실제 노드 분류 데이터 세트에서 일관되게 성능 향상을 보임을 보인다.

제안 방법

• 역전파 기반의 유사도 행렬 S(Â,X) = (ÂX)(ÂX)ᵀ 를 구성하여 집계가 노드 기능과 어떻게 상호 작용하는지 측정한다.
• 작업 집계 유사도 지표 Sagg와 Â를 적용한 후 클래스 일관성을 얼마나 보존하는지 양자화하는 수정된 버전 Sagg^M 를 정의한다.
• 집계 연산자의 효과를 포함하는 aggregated-homophily 지표인 Hagg와 Hagg^M 을 제시한다.
• Hagg^M가 합성 그래프에서 전통적 간선/노드/클래스 동질성 지표보다 GNN 성능을 더 잘 예측함을 입증한다.
• Diversification Distinguishability DD 를 개발하여 고주파(다양화) 필터링으로 이익을 얻을 수 있는 노드를 식별한다.
• LP가 집계, HP가 다양화, Identity가 직접 경로를 나타내는 2채널/3채널 필터뱅크 해석을 제안하여 결합 시 완벽 재구성이 가능하도록 한다.
• 노드마다 채널 가중치를 학습하고 각 GNN 층에서 LP, HP, Identity 채널을 결합하는 Adaptive Channel Mixing(ACM/ACMII)을 제안한다.
• ACM의 복잡도 추정치를 제시하여 실행 시간이 대략 두 배가 되는 것을 보이고, 실제 데이터에 대한 상세한 제거/비교를 제공한다.
• 10개의 실제 노드 분류 데이터셋에서 ACM-보강 모델을 검증하여 baselines 대비 일관된 개선을 보여준다.

실험 결과

연구 질문

• RQ1 이질성 하에서 그래프 집계가 노드 구별성에 해를 끼치는지 또는 도움이 되는지 언제 나타나는가?
• RQ2 유사도 기반의 집계 지표가 전통적 동질성 측정치보다 GNN 성능을 더 잘 예측할 수 있는가?
• RQ3 다양화(고주파 필터링)가 실제로 해로운 이질성을 얼마나 해소할 수 있는가?
• RQ4 집계, 다양화, Identity 채널을 함께 활용하는 적응형 채널 믹싱 전략이 이질적인 그래프에서 노드 분류를 개선하는가?

주요 결과

• 집계 기반 GNN은 이질성에 의해 보편적으로 해를 입지 않으며, 일부 이질적 그래프도 집계 후에 구분 가능하다.
• 그래프 구조와 노드 특성을 모두 고려하는 유사도 기반 집계 지표(Sagg 및 Hagg)가 합성 데이터에서 전통적 동질성 지표보다 GNN 성능을 더 잘 설명한다.
• 다양화(고주파)는 neighborhood 차이를 활용하여 일부 해로운 이질성 사례를 다룰 수 있으며, 그래프 신호의 필터뱅크 관점을 지원한다.
• Adaptive Channel Mixing (ACM/ACMII) 프레임워크는 LP, HP 및 Identity 채널을 노드 조건부 가중치와 함께 효과적으로 결합하여 10개의 실제 데이터셋에서 상당한 향상을 달성한다.
• ACM-보강 baselines는 대부분의 작업에서 최첨단 GNN보다 지속적으로 우수한 성능을 보이지만, baselines 대비 에포크당 실행 시간이 대략 두 배로 증가하는 경향이 있다.
• 다양한 데이터세트에서 HP 및 Identity 채널과 적응형 혼합 메커니즘의 기여를 확인하는 제거 연구가 수행되었다.