[논문 리뷰] Graph Neural Network with Curriculum Learning for Imbalanced Node Classification

Xiaohe Li, Lijie Wen외 5명|arXiv (Cornell University)|2022. 02. 05.

Advanced Graph Neural Networks인용 수 6

한 줄 요약

이 논문은 교과서 학습을 통합한 그래프 신경망 프레임워크인 GNN-CL을 제안하며, 특성의 연속성과 유사성에 기반한 적응형 그래프 오버샘플링과 이웃 기반 메트릭 학습을 융합하여 노드 분류에서의 클래스 불균형 문제를 해결한다. 학습 중 오버샘플링과 메트릭 학습 손실의 기여도를 동적으로 조정함으로써 다양한 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 극도로 불균형한 설정에서 최대 20%의 상대적 향상도를 기록한다.

ABSTRACT

Graph Neural Network (GNN) is an emerging technique for graph-based learning tasks such as node classification. In this work, we reveal the vulnerability of GNN to the imbalance of node labels. Traditional solutions for imbalanced classification (e.g. resampling) are ineffective in node classification without considering the graph structure. Worse still, they may even bring overfitting or underfitting results due to lack of sufficient prior knowledge. To solve these problems, we propose a novel graph neural network framework with curriculum learning (GNN-CL) consisting of two modules. For one thing, we hope to acquire certain reliable interpolation nodes and edges through the novel graph-based oversampling based on smoothness and homophily. For another, we combine graph classification loss and metric learning loss which adjust the distance between different nodes associated with minority class in feature space. Inspired by curriculum learning, we dynamically adjust the weights of different modules during training process to achieve better ability of generalization and discrimination. The proposed framework is evaluated via several widely used graph datasets, showing that our proposed model consistently outperforms the existing state-of-the-art methods.

연구 동기 및 목표

• 소수 클래스 노드가 연결성과 전파가 부족하여 잘 표현되지 않는 문제로 인해 GNN이 클래스 불균형한 노드 분류에 취약해지는 것을 해결하기 위해.
• 기존의 리샘플링과 비용 감도 학습 기법이 그래프 환경에서 구조적 사전 지식을 忽略하고 과적합 위험을 유발하는 한계를 극복하기 위해.
• 그래프 기반 오버샘플링과 메트릭 학습을 통합하여 표현 품질과 일반화 능력을 동시에 향상시키는 통합 프레임워크를 개발하기 위해.
• 교과서 학습을 통해 오버샘플링과 메트릭 학습의 기여도를 동적으로 조절하여 모델의 강건성과 분류 능력을 향상시키기 위해.
• 다양한 클래스 불균형 수준을 가진 다양한 그래프 데이터셋에서 제안된 방법의 효과성을 검증하기 위해.

제안 방법

• 중간층 임bedding에서 특성의 연속성과 유사성에 기반해 합성 노드와 간선을 생성하는 적응형 그래프 오버샘플링 기법을 제안한다.
• 특성 공간에서 소수 클래스 노드를 분리함으로써 분류 가능한 특징 표현을 학습하기 위해 이웃 기반 트리플릿 손실을 도입한다.
• 그래프 분류 손실과 메트릭 학습 손실을 결합하여 노드 분류와 클래스 간 분리도를 동시에 최적화한다.
• 학습 중 오버샘플링 모듈과 메트릭 학습 모듈의 손실 가중치를 동적으로 조정하기 위해 교과서 학습을 활용한다.
• 두 단계 학습 전략을 적용한다: 먼저 오버샘플링을 통해 신뢰할 수 있는 합성 노드를 생성하고, 이후 메트릭 학습을 통해 표현을 정밀하게 다듬는다.
• GCN, GraphSAGE 등 다양한 GNN 백본에 프레임워크를 적용하여 아키텍처 간 일반화 능력을 입증한다.

실험 결과

연구 질문

• RQ1 불균형한 노드 분류에서 그래프 구조를 어떻게 활용하여 소수 클래스를 위한 신뢰할 수 있는 합성 노드를 생성할 수 있는가?
• RQ2 메트릭 학습은 GNN에서 소수 클래스와 다수 클래스 노드 간의 분류 능력을 어느 정도 향상시킬 수 있는가?
• RQ3 교과서 학습은 오버샘플링과 메트릭 학습의 기여도를 효과적으로 균형 조절하여 과적합을 방지하고 일반화 능력을 향상시키는 데 기여하는가?
• RQ4 제안된 방법은 다양한 수준의 클래스 불균형에서 기존 최고 성능(SOTA) 기법과 비교해 어떻게 성능을 내는가?
• RQ5 이 프레임워크는 다양한 GNN 아키텍처와 실제 세계의 그래프 데이터셋 간에 일반화되는가?

주요 결과

• Cora에서 불균형 비율이 0.1일 때 GNN-CL은 최고의 마이크로-F1 스코어 0.759를 기록하며, 2위인 GraphSMOTE보다 상대적 향상도가 20% 이상 높다.
• BlogCategory 데이터셋에서 불균형 비율 0.1일 때 GNN-CL은 마이크로-F1 0.757을 달성하며, GCN와 MLP는 클래스 비율과 정확도 간 강한 상관관계를 보여 상대적으로 열등하다.
• 제거 분석 결과 오버샘플링 모듈과 메트릭 학습 모듈이 성능 향상에 독립적으로 기여하는 것으로 확인되었으며, GNN-CL O(오버샘플링 전용)와 GNN-CL M(메트릭 학습 전용)는 전체 모델에 비해 경쟁력은 있으나 열등한 성능을 보였다.
• 불균형 비율이 0.9(거의 균형 임)일 경우 GNN-CL과 베이스라인 간 성능 격차가 좁아지며, 이는 오버샘플링이 극도로 불균형한 상황에서 가장 효과적임을 시사한다.
• 모든 테스트 데이터셋에서 GCN, GraphSAGE 등 다양한 기본 GNN 아키텍처에 대해 일관된 우수성을 유지하며, 최고의 베이스라인 대비 2–4%의 성능 향상을 기록했다.
• 하이퍼파라미터 분석 결과, 중간 수준의 오버샘플링 스케일과 균형 잡힌 가짜 레이블 임계치 설정에서 최적의 성능가 도달하며, 과도한 합성 데이터나 노이즈 레이블로 인한 과적합을 방지한다.