[논문 리뷰] Simplified Graph Convolution with Heterophily

Sudhanshu Chanpuriya, Cameron Musco|arXiv (Cornell University)|2022. 02. 08.

Advanced Graph Neural Networks인용 수 6

한 줄 요약

이 논문은 동질성과 이질성 그래프 구조를 모두 다룰 수 있도록 각 특징에 따라 특징 스무딩 필터를 적응시키는 비딥, 빠르고 해석 가능한 방법인 적응형 단순 그래프 컨볼루션(ASGC)을 제안한다. SGC와 달리 이질성 그래프에서 실패하는 것과는 달리, ASGC는 실제 데이터셋, 특히 강한 이질성을 가진 데이터셋에서도 최신 딥 모델과 경쟁 가능한 성능을 달성하며, 새로운 합성 모델(FSBM) 하에 둘 다에서 특징 노이즈 제거가 이론적으로 보장된다.

ABSTRACT

Recent work has shown that a simple, fast method called Simple Graph Convolution (SGC) (Wu et al., 2019), which eschews deep learning, is competitive with deep methods like graph convolutional networks (GCNs) (Kipf & Welling, 2017) in common graph machine learning benchmarks. The use of graph data in SGC implicitly assumes the common but not universal graph characteristic of homophily, wherein nodes link to nodes which are similar. Here we confirm that SGC is indeed ineffective for heterophilous (i.e., non-homophilous) graphs via experiments on synthetic and real-world datasets. We propose Adaptive Simple Graph Convolution (ASGC), which we show can adapt to both homophilous and heterophilous graph structure. Like SGC, ASGC is not a deep model, and hence is fast, scalable, and interpretable; further, we can prove performance guarantees on natural synthetic data models. Empirically, ASGC is often competitive with recent deep models at node classification on a benchmark of real-world datasets. The SGC paper questioned whether the complexity of graph neural networks is warranted for common graph problems involving homophilous networks; our results similarly suggest that, while deep learning often achieves the highest performance, heterophilous structure alone does not necessitate these more involved methods.

연구 동기 및 목표

• 노드가 유사하지 않은 이웃과 연결되는 이질성 그래프에서 단순 그래프 컨볼루션(SGC)의 한계를 해결하기 위해.
• 동질성과 이질성 그래프 구조 둘 다에 적응할 수 있는 비딥, 확장 가능하고 해석 가능한 방법을 개발하기 위해.
• 특징 스무딩의 성능 보장을 분석하고 증명하기 위한 이론적 프레임워크인 특징 기반 스토케스틱 블록 모델(FSBMs)을 제안하기 위해.
• 실제 다양한 실생활 데이터셋, 특히 강한 이질성을 가진 데이터셋에서 ASGC가 경쟁 가능한 노드 분류 정확도를 달성함을 경험적으로 입증하기 위해.
• 딥 러닝이 이질성 그래프에서 높은 성능을 내기 위해 반드시 필요하다는 가정을 도전하며, 단순한 비딥 방법이 효과적일 수 있음을 보여주기 위해.

제안 방법

• ASGC는 각 입력 특징에 대해 다른 스무딩 필터를 학습하기 위해 선형 최소 제곱법을 사용하여, 동질성(스무딩)과 이질성(비스무딩) 구조 양쪽에 모두 적응할 수 있도록 한다.
• 이 방법은 학습된 필터 행렬을 통해 특징 전파를 수행하며, SGC의 고정된 대칭 정규화를 대체로 적응형, 특징별 필터링을 사용한다.
• 노드 분류 문제를 정규화된 최소 제곱 문제로 공식화한다: $ \| \mathbf{X} \mathbf{W} - \mathbf{Y} \|_F^2 + \lambda \| \mathbf{W} \|_F^2 $, 여기서 $ \mathbf{W} $ 는 각 특징별로 학습된 가중치 행렬이다.
• 필터링 과정은 정규화된 회귀 문제를 푸는 것과 동일하며, 그래프 구조에 기반한 특징 노이즈 제거를 수행하며, 정규화 강도는 교차 검증을 통해 튜닝된다.
• ASGC는 계산적으로 효율적이고 해석 가능하며, 백프로파게이션과 딥 뉴럴 네트워크와 같은 비선형성을 피함으로써 GCN 및 기타 GNN과는 다름.
• 이 방법은 동질성과 이질성 네트워크를 포함한 10개의 실생활 데이터셋 벤치마크에서 표준 훈련/검증/테스트 분할을 사용하여 평가된다.

실험 결과

연구 질문

• RQ1 노드가 비유사한 이웃과 연결되는 이질성 그래프에서 SGC와 같은 단순 비딥 방법이 효과적으로 작동할 수 있는가?
• RQ2 딥 러닝을 사용하지 않고도 특징 스무딩을 동질성과 이질성 그래프 구조 양쪽에 적응시킬 수 있는 방법은 무엇인가?
• RQ3 동질성과 이질성을 모두 포괄하고 공식적인 성능 분석을 가능하게 하는 이론적으로 탄탄한 합성 모델이 존재하는가?
• RQ4 비딥 방법이 동질성과 이질성이 혼합된 실생활 데이터셋에서 최근의 딥 GNN과 경쟁 가능한 성능을 낼 수 있는가?
• RQ5 딥 모델이 이질성 그래프에서 명백한 성능 이점이 있는가, 아니면 단순한 특징 사전처리만으로도 충분한가?

주요 결과

• ASGC는 SGC가 고정된 스무딩 필터로 실패하는 이질성 그래프, 예를 들어 PubMed, Actor, Texas 등에서 SGC를 크게 능가한다.
• 10개의 실생활 데이터셋 벤치마크에서 ASGC는 모든 데이터셋에서 최고 성능 모델의 성능의 최소 90% 이상을 달성하며, SGC를 능가하고 GPR-GNN 및 Geom-GCN과 같은 딥 모델과 동등하거나 뛰어난 성능을 보였다.
• ASGC는 데이터셋 간 평균 비례 정확도에서 GPR-GNN에 이어 두 번째로 높은 성능을 기록했으며, 가장 높은 최소 성능을 기록하여 강건성을 입증했다.
• 이론적 분석 결과, ASGC는 동질성과 이질성 FSBM 모두에서 특징 노이즈 제거가 가능하지만, SGC는 이질성 경우에서 실패함을 확인했다.
• 동질성 데이터셋에서는 ASGC가 딥 모델과 경쟁 가능했으며, 이는 비딥 방법이 표준 설정에서도 효과적일 수 있음을 확인한다.
• 결과적으로, 이질성 그래프에서 높은 성능을 내기 위해 딥 러닝이 반드시 필요한 것은 아니며, 단순하고 적응형 특징 필터링만으로도 충분할 수 있음을 시사한다.