[논문 리뷰] Demystifying Structural Disparity in Graph Neural Networks: Can One Size Fit All?

Haitao Mao, Zhikai Chen외 6명|arXiv (Cornell University)|2023. 06. 02.

Advanced Graph Neural Networks인용 수 13

한 줄 요약

본 논문은 GNN이 같은 그래프 내에서 서로 다른 구조적 패턴(동호형 vs heterophilic) 노드 간에 불균등하게 작동한다는 점을 보여주고, 그 원인을 설명하기 위한 비-i.i.d PAC-Bayesian 일반화 경계를 제시한다.

ABSTRACT

Recent studies on Graph Neural Networks(GNNs) provide both empirical and theoretical evidence supporting their effectiveness in capturing structural patterns on both homophilic and certain heterophilic graphs. Notably, most real-world homophilic and heterophilic graphs are comprised of a mixture of nodes in both homophilic and heterophilic structural patterns, exhibiting a structural disparity. However, the analysis of GNN performance with respect to nodes exhibiting different structural patterns, e.g., homophilic nodes in heterophilic graphs, remains rather limited. In the present study, we provide evidence that Graph Neural Networks(GNNs) on node classification typically perform admirably on homophilic nodes within homophilic graphs and heterophilic nodes within heterophilic graphs while struggling on the opposite node set, exhibiting a performance disparity. We theoretically and empirically identify effects of GNNs on testing nodes exhibiting distinct structural patterns. We then propose a rigorous, non-i.i.d PAC-Bayesian generalization bound for GNNs, revealing reasons for the performance disparity, namely the aggregated feature distance and homophily ratio difference between training and testing nodes. Furthermore, we demonstrate the practical implications of our new findings via (1) elucidating the effectiveness of deeper GNNs; and (2) revealing an over-looked distribution shift factor on graph out-of-distribution problem and proposing a new scenario accordingly.

연구 동기 및 목표

• 실세계 그래프에 동호형 및 이질형 노드가 혼재되어 구조적 차이가 존재함을 입증한다.
• GNN 집계가 서로 다른 구조 패턴을 가진 노드에 어떤 영향을 주는지 실험적으로 및 이론적으로 분석한다.
• 노드 하위집단 간의 성능 차이를 설명하기 위한 비-i.i.d PAC-Bayesian 일반화 경계를 개발한다.
• 더 깊은 GNN 및 그래프의 out-of-distribution 시나리오에 대한 시사점을 제시한다.

제안 방법

• 다양한 동호성 비율을 가진 노드 하위 그룹 간의 성능을 평가하기 위해 GCN과 MLP 기반 모델 및 GLNN을 비교한다.
• 混合 동호형/이질형 하위 그룹이 있는 그래프를 시뮬레이션하고 집계 특성 분포를 분석하기 위해 CSBM-S 모델을 제안한다.
• 훈련 노드와 테스트 노드 간의 집계 특성 거리 및 동호성 비 차이에 초점을 맞춰 GNN에 대한 비-i.i.d PAC-Bayesian 일반화 경계를 도출한다.
• 실데이터(PubMed, Ogbn-arxiv, Chameleon, Squirrel) 및 합성 CSBM-S 변종에 대해 이론적 결과를 실증적으로 검증한다.
• 더 깊은 GNN이 소수 노드 하위 그룹에 미치는 영향을 다수 노드보다 소수 노드에서 더 크게 개선하는지 분석한다.

(a) PubMed ( $h$ =0.79)

실험 결과

연구 질문

• RQ1 GNN 집계가 같은 그래프 내에서 서로 다른 구조적 패턴(동호형 vs 이질형) 노드에 어떤 영향을 미치는가?
• RQ2 왜 다수 노드 하위그룹과 소수 노드 하위그룹 간의 성능 차이가 나타나는가, 모든 노드에 대해 단일 모델이 잘 작동할 수 있는가?
• RQ3 GNN의 하위그룹 일반화 차이를 이끄는 이론적 요인은 무엇이며, 집계 특성 거리와 동호성 차이가 어떻게 기여하는가?
• RQ4 구조적 차이에 따른 더 깊은 GNN 및 그래프의 out-of-distribution 시나리오에서의 실용적 시사점은 무엇인가?

주요 결과

• 혼합 그래프 내에서 다수 패턴 노드에서는 GNN이 보통 잘 작동하지만 소수 패턴 노드에서는 성능이 떨어지는 경향이 있다.
• 동호형 및 이질형 하위 그룹 간의 클래스 내 특성 분포가 좁혀짐에 따른 차이가 생긴다.
• 비-i.i.d PAC-Bayesian 경계는 훈련 및 테스트 노드 간의 집계 특성 거리와 동호성 비 차이가 커질수록 일반화 오차가 증가함을 보여준다.
• 더 깊은 GNN은 차별적으로 소수 노드의 성능을 더 크게 향상시키는 경향이 있으며, 이는 고차원 정보 포착과 관련이 있다.
• 구조적 차이는 그래프의 out-of-distribution 시나리오를 드러내며, 동호성 패턴의 변화가 Y|X에 영향을 주는 환경과 같은 요인으로 작용할 수 있다.
• PubMed, Ogbn-arxiv, Chameleon, Squirrel에 걸친 실증 결과가 이론적 주장들을 입증한다.

(b) Ogbn-arxiv ( $h$ =0.63)