[논문 리뷰] Rethinking Semi-Supervised Imbalanced Node Classification from Bias-Variance Decomposition

Divin Yan, Gengchen Wei외 3명|arXiv (Cornell University)|2023. 10. 28.

Imbalanced Data Classification Techniques인용 수 6

한 줄 요약

이 논문은 편향-분산 분해를 통해 데이터 불균형을 모델 분산과 이론적으로 연결함으로써, 반감독적 불균형 노드 분류를 위한 새로운 프레임워크를 제안한다. 그래프 증강을 사용하여 분산을 추정하고, 분산 제약 정규화 항을 도입하여, 자연적으로 불균형인 데이터셋과 공개 분할 불균형 데이터셋 모두에서 최신 기법들을 크게 능가한다.

ABSTRACT

This paper introduces a new approach to address the issue of class imbalance in graph neural networks (GNNs) for learning on graph-structured data. Our approach integrates imbalanced node classification and Bias-Variance Decomposition, establishing a theoretical framework that closely relates data imbalance to model variance. We also leverage graph augmentation technique to estimate the variance, and design a regularization term to alleviate the impact of imbalance. Exhaustive tests are conducted on multiple benchmarks, including naturally imbalanced datasets and public-split class-imbalanced datasets, demonstrating that our approach outperforms state-of-the-art methods in various imbalanced scenarios. This work provides a novel theoretical perspective for addressing the problem of imbalanced node classification in GNNs.

연구 동기 및 목표

• 그래프 신경망에서의 클래스 불균형 문제, 특히 반감독적 노드 분류에서의 과제를 해결하기 위해.
• 편향-분산 분해를 통해 데이터 불균형과 모델 분산 간의 이론적 연결 고리를 구축하기 위해.
• 더 나은 일반화를 위해 그래프 데이터 증강을 통해 분산 추정 방법을 개발하기 위해.
• 소수 클래스에 대한 과적합을 완화하기 위해 모델 분산을 명시적으로 제약하는 정규화 항을 설계하기 위해.
• 실제로 존재하는 자연적인 불균형 데이터셋과 공개 벤치마크에서 방법을 평가하여 다양한 불균형 비율에서의 강력한 성능을 입증하기 위해.

제안 방법

• 편향-분산 분해를 통해 데이터 불균형과 모델 분산 간의 이론적 연결 고리를 제안하며, 불균형이 분산을 증가시키고 성능을 떨어뜨린다는 것을 보여준다.
• 그래프 데이터 증강을 사용하여 훈련 그래프의 여러 시각을 생성함으로써, 분산 추정을 위한 다양한 훈련 분포를 시뮬레이션한다.
• 증강된 시각 간의 예측 불일치를 최소화하는 분산 제약 최적화 손실($\mathcal{L}_{\text{VR}}$)을 설계하여 모델 분산을 감소시킨다.
• 클래스 중심 유사도와 신뢰도 필터링을 기반으로 한 적응형 정규화 항을 도입하여 소수 클래스에서의 훈련을 안정화시킨다.
• 분산 정규화를 지도형 교차엔트로피 손실과 내부 클래스 정규화와 결합하여 통합된 훈련 목표를 구성한다.
• 예측 신뢰도가 낮은 미분류 노드를 필터링하는 신뢰도 임계값 기반 메커니즘을 도입하여 분산 추정의 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 그래프 구조 데이터에서의 데이터 불균형은 GNN의 모델 분산에 어떻게 영향을 미치는가?
• RQ2 편향-분산 분해가 노드 분류에서의 불균형을 이해하고 완화하기 위한 이론적 기반을 제공할 수 있는가?
• RQ3 그래프 데이터 증강은 다양한 훈련 세트의 분포를 효과적으로 근사하여 분산 추정에 활용할 수 있는가?
• RQ4 분산 제약 정규화 항은 불균형 GNN 훈련에서 일반화 성능을 향상시키는가?
• RQ5 제안된 방법은 다양한 불균형 비율과 실제 세계 데이터셋에서 최신 기법들과 비교해 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 방법은 자연적으로 불균형인 데이터셋과 공개 분할 불균형 데이터셋을 포함한 여러 벤치마크에서 최신 기법을 능가하는 성능을 달성한다.
• 실험 결과 모델 분산과 데이터셋 불균형 비율 간의 강한 경험적 상관관계를 확인하여 이론적 분석의 타당성을 입증한다.
• 특히 극도로 불균형한 상황에서도 기존 방법들을 크게 능가하며, 더 뛰어난 강건성과 일반화 능력을 보여준다.
• 그래프 증강은 분포 이동을 효과적으로 모델링하고 신뢰할 수 있는 분산 추정을 가능하게 하여 프레임워크의 핵심 요소가 된다.
• 분산 제약 정규화 항은 클래스별 재가중 또는 오버샘플링 없이도 소수 클래스에서 더 안정적이고 정확한 예측을 가능하게 한다.
• 세 가지 다른 GNN 아키텍처에서 강력한 성능 유지를 보이며, 광범위한 적용 가능성과 확장성을 시사한다.