[논문 리뷰] When Do We Need Graph Neural Networks for Node Classification?

Sitao Luan, Chenqing Hua외 4명|arXiv (Cornell University)|2022. 10. 30.

Advanced Graph Neural Networks인용 수 9

한 줄 요약

이 논문은 노드 분류에서 그래프 신경망(GNNs)이 그래프 무관 다층퍼셉트론(MLPs)을 능가할 때를 예측하기 위해 정규화 총 변동성(NTV)과 정규화 스무스니스 값(NSV)을 제안한다. 그래프 신호 처리와 통계적 가설 검정을 통해 특성과 레이블의 간선 편향을 분석함으로써, GNN이 성능 우위를 얻는 조건의 임계 조건을 규명하며, 실세계 그래프에서 MLP가 종종 GNN을 능가하는 이유를 설명한다.

ABSTRACT

Graph Neural Networks (GNNs) extend basic Neural Networks (NNs) by additionally making use of graph structure based on the relational inductive bias (edge bias), rather than treating the nodes as collections of independent and identically distributed (i.i.d.) samples. Though GNNs are believed to outperform basic NNs in real-world tasks, it is found that in some cases, GNNs have little performance gain or even underperform graph-agnostic NNs. To identify these cases, based on graph signal processing and statistical hypothesis testing, we propose two measures which analyze the cases in which the edge bias in features and labels does not provide advantages. Based on the measures, a threshold value can be given to predict the potential performance advantages of graph-aware models over graph-agnostic models.

연구 동기 및 목표

• 그래프 구조를 사용하고도 GNN이 그래프 무관 MLP를 능가하지 못하는 조건을 규명하는 것.
• 기존의 동질성 지표가 연결되지 않은 노드 쌍을 고려하지 않으며 GNN 성능을 신뢰성 있게 예측하지 못하는 한계를 해결하는 것.
• 간선 편향이 GNN이 비그래프 인식 모델보다 성능 우위를 얻는 데 기여하는지에 대한 원칙적인 방법을 개발하는 것.
• 그래프 및 레이블 특성에 기반해 GNN과 MLP 간의 선택을 위한 임계값 기반 예측 시스템을 제공하는 것.

제안 방법

• 연결된 노드 쌍 간의 특성 변동을 전체 가능한 쌍에 대해 상대적으로 측정함으로써, 연결된 노드 쌍에 대한 특성의 간선 편향 효과를 정량화하는 정규화 총 변동성(NTV)을 제안한다.
• 가설 검정을 사용하여 연결된 노드가 비연결 쌍보다 레이블을 더 많이 공유할 가능성이 유의미한지 평가함으로써, 레이블 일관성에서의 간선 편향의 통계적 유의성을 평가하는 정규화 스무스니스 값(NSV)을 도입한다.
• 스펙트럼 그래프 이론과 그래프 신호 처리를 적용하여 간선 편향이 GNN 학습 동역학에 미치는 영향, 특히 저통과 필터링 효과를 모델링한다.
• GNN 학습에서 트레이스 기반 최적화를 사용하여 인접 행렬의 영향을 체계화함으로써, 연결된 노드의 레이블이 다를 경우 간선 편향이 해로울 수 있음을 보여준다.
• NSV 기반 가설 검정의 p-값을 통합하여 간선 편향이 통계적으로 유익한지 판단하고, 모델 선택을 위한 임계값 기반 의사결정 규칙을 가능하게 한다.
• 14개의 실세계 데이터셋에서 측정치를 검증하여 GNN과 MLP의 성능를 비교함으로써, NTV와 NSV가 실제 모델 성과 향상과 상관관계가 있음을 확인한다.

실험 결과

연구 질문

• RQ1 그래프 구조의 간선 편향이 그래프 무관 MLP보다 GNN 성능 향상을 이끌지 못하는 조건는 무엇인가?
• RQ2 실세계 데이터셋에서 그래프 구조가 존재함에도 일부 GNN이 MLP보다 성능이 열 劣하는 이유는 무엇인가?
• RQ3 레이블과 특성에서 간선 편향의 통계적 유의성을 정량화하여 GNN이 MLP를 능가할 때를 예측할 수 있는가?
• RQ4 기존의 동질성 지표가 GNN 대비 MLP 성능을 예측하지 못하는 이유는 무엇이며, 제안된 방법은 어떤 개선을 제공하는가?
• RQ5 NTV와 NSV의 어떤 임계값이 GNN이 MLP를 능가하는 데 신뢰할 수 있는 성능 우위를 나타내는가?

주요 결과

• Cornell, Wisconsin, Texas, Film 등의 몇몇 데이터셋에서 MLP가 GNN을 능가하며, 정확도 격차가 최대 17.48%에 이르는 등 GNN의 비정상적인 실패 사례를 보여준다.
• PubMed, Coauthor CS, Coauthor Phy와 같은 고동질성 데이터셋에서는 MLP가 GNN과 거의 동일한 성능(차이 <1%)을 보이며, GNN이 항상 그래프 구조의 이점을 얻는다는 가정을 도전한다.
• 제안된 NSV 지표와 가설 검정에서 유도된 p-값을 결합하여 간선 편향이 통계적으로 유익한지 성공적으로 규명하였으며, 이는 GNN의 성능 향상 또는 저하를 설명한다.
• NTV와 NSV는 14개의 실세계 데이터셋에서 경험적 결과와 일관되며, 낮은 간선 편향 유의성과 MLP의 승리 사이에 강한 상관관계를 보인다.
• GNN은 연결된 노드의 레이블이 다를 경우 부정적인 간선 편향 효과를 겪어 잘못된 레이블 전파로 이어지고 성능 저하가 발생한다.
• NSV와 p-값에서 유도된 임계값은 GNN이 MLP를 능가할지 여부를 신뢰성 있게 예측할 수 있게 하며, 노드 분류 작업에서의 모델 선택에 실용적인 기준을 제공한다.