[논문 리뷰] Beyond Real-world Benchmark Datasets: An Empirical Study of Node Classification with GNNs

Seiji Maekawa, Koki Noda외 2명|arXiv (Cornell University)|2022. 06. 18.

Advanced Graph Neural Networks인용 수 7

한 줄 요약

이 논문은 클래스 불균형, 동질성/이질성, 속성 편향, 그래프 크기 등의 핵심 그래프 특성을 제어할 수 있는 합성 그래프 생성기(GenCAT)를 사용하여 노드 분류를 위한 그래프 신경망(GNNs)에 대한 종합적인 실증 연구를 수행한다. 연구 결과, GNNs는 클래스 불균형과 이질성 문제에서 어려움을 겪으며, 단순한 모델인 SGC가 불균형 설정에서 복잡한 GNNs보다 성능이 뛰어나며, 많은 GNNs가 이질성 그래프에서 구조 정보를 효율적으로 활용하지 못하는 것으로 나타났다.

ABSTRACT

Graph Neural Networks (GNNs) have achieved great success on a node classification task. Despite the broad interest in developing and evaluating GNNs, they have been assessed with limited benchmark datasets. As a result, the existing evaluation of GNNs lacks fine-grained analysis from various characteristics of graphs. Motivated by this, we conduct extensive experiments with a synthetic graph generator that can generate graphs having controlled characteristics for fine-grained analysis. Our empirical studies clarify the strengths and weaknesses of GNNs from four major characteristics of real-world graphs with class labels of nodes, i.e., 1) class size distributions (balanced vs. imbalanced), 2) edge connection proportions between classes (homophilic vs. heterophilic), 3) attribute values (biased vs. random), and 4) graph sizes (small vs. large). In addition, to foster future research on GNNs, we publicly release our codebase that allows users to evaluate various GNNs with various graphs. We hope this work offers interesting insights for future research.

연구 동기 및 목표

• 기존 GNN 평가에서 제한된 실세계 데이터셋을 사용해 고도로 세분화된 분석이 부족한 점을 보완하기 위해.
• 클래스 크기 분포, 간선 동질성, 속성 편향, 그래프 크기의 네 가지 핵심 그래프 특성이 GNN 성능에 미치는 영향을 조사하기 위해.
• 다른 특성들은 일정하게 유지하면서 개별 그래프 성질을 고립하고 변화시켜 GNN 성능에 미치는 영향을 체계적으로 평가할 수 있는 프레임워크를 제공하기 위해.
• 다양한 합성 그래프 구성에서 GNNs를 재현 가능하고 확장 가능한 방식으로 평가할 수 있도록 오픈소스 코드베이스를 제공하기 위해.

제안 방법

• 클래스 크기 분포, 동질성/이질성, 속성 편향, 그래프 크기 등을 정밀하게 제어할 수 있는 최신 합성 그래프 생성기인 GenCAT를 사용하여 그래프를 생성한다.
• 표준화된 평가 프로토콜을 적용: 훈련/검증/테스트 분할, 고정된 초모수, 모든 그래프 유형에서 동일한 훈련 조건을 적용한다.
• SGC, GCN, GAT, GraphSAGE, GIN 등의 다양한 GNNs를 생성된 모든 그래프 구성에서 평가하여 그래프 구조에 기인한 성능 차이를 고립한다.
• 다른 특성들은 일정하게 유지하면서 하나 또는 두 개의 그래프 특성만을 체계적으로 변화시켜 GNN 행동에 대한 인과적 분석을 가능하게 한다.
• 표준 노드 분류 메트릭(예: 정확도, 매크로-F1)을 사용하여 다양한 설정에서 성능를 정량화한다.
• 향후 연구자들이 이 프레임워크를 재현하고 확장할 수 있도록 파이토치 기반 오픈소스 라이브러리로 공개한다.

실험 결과

연구 질문

• RQ1 클래스 크기 불균형은 다중 클래스 노드 분류 작업에서 GNN 성능에 어떤 영향을 미치는가?
• RQ2 낮은 내부 클래스 간선 연결성(즉, 이질성 그래프)에서 GNN은 동질성 그래프에 비해 얼마나 효과적인가?
• RQ3 노드 속성 값(편향 있음 vs. 무작위)이 GNN 성능에 어느 정도의 영향을 미치는가?
• RQ4 그래프 크기(작은 그래프 vs. 큰 그래프)는 GNN의 일반화 능력과 확장성에 어떤 영향을 미치는가?
• RQ5 클래스 불균형과 이질성과 같은 도전적인 설정에서 최신 GNNs는 SGC와 같은 단순한 모델과 비교해 어떻게 성능을 내는가?

주요 결과

• 최신 GNN 모델을 포함한 GNNs는 클래스 불균형으로 인해 심각한 성능 저하를 겪으며, 손실 함수의 편향으로 인해 소수 클래스에서 성능이 급격히 떨어진다.
• 단순한 SGC 모델이 불균형 설정에서 더 복잡한 GNNs보다 성능이 뛰어나며, 깊이 있는 모델이 주로 클래스에 대한 인도적 편향을 지닌 탓에 다수 클래스에 과적합되기 때문이다.
• 동일한 클래스의 노드가 잘 연결되어 있지 않은 이질성 그래프에서는 GNNs가 그래프 무관한 MLP보다는 약간의 성능 향상을 보일 뿐이므로, 구조 정보를 효율적으로 활용하지 못한다.
• 고수준의 이질성 설정에서 GNNs는 MLP에 비해 성능 향상이 미미하여, 일반적으로 이러한 그래프에서 구조 정보를 무시하거나 제대로 활용하지 못하는 경향이 있음을 시사한다.
• 속성 편향은 GNN 성능에 측정 가능한 영향을 미치며, 정보성 있는 속성이 특히 저동질성 설정에서 정확도를 크게 향상시킨다.
• 그래프 크기는 측정 가능한 영향을 미치지만, 그 영향은 다소 덜 뚜렷하다. GNNs는 비교적 큰 그래프로도 잘 확장되지만, 특히 고수준의 이질성과 불균형이 병합된 경우 성능 저하가 관찰된다.