[논문 리뷰] GraphMixup: Improving Class-Imbalanced Node Classification on Graphs by Self-supervised Context Prediction

Lirong Wu, Haitao Lin외 3명|arXiv (Cornell University)|2021. 06. 21.

Advanced Graph Neural Networks참고 문헌 24인용 수 13

한 줄 요약

GraphMixup는 의미 수준의 특징 믹스업, 자기지도 경로 예측을 통한 맥락 인식 엣지 믹스업, 강화 학습 기반 적응형 업샘플링을 통해 그래프에서 클래스 불균형 문제를 통합적이고 엔드 투 엔드로 개선하는 프레임워크를 제안한다. 다양한 불균형 비율을 가진 실세계 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Recent years have witnessed great success in handling node classification tasks with Graph Neural Networks (GNNs). However, most existing GNNs are based on the assumption that node samples for different classes are balanced, while for many real-world graphs, there exists the problem of class imbalance, i.e., some classes may have much fewer samples than others. In this case, directly training a GNN classifier with raw data would under-represent samples from those minority classes and result in sub-optimal performance. This paper presents GraphMixup, a novel mixup-based framework for improving class-imbalanced node classification on graphs. However, directly performing mixup in the input space or embedding space may produce out-of-domain samples due to the extreme sparsity of minority classes; hence we construct semantic relation spaces that allows the Feature Mixup to be performed at the semantic level. Moreover, we apply two context-based self-supervised techniques to capture both local and global information in the graph structure and then propose Edge Mixup specifically for graph data. Finally, we develop a \emph{Reinforcement Mixup} mechanism to adaptively determine how many samples are to be generated by mixup for those minority classes. Extensive experiments on three real-world datasets show that GraphMixup yields truly encouraging results for class-imbalanced node classification tasks.

연구 동기 및 목표

• 소수 클래스가 부족하여 모델 성능이 최적화되지 않는 그래프 신경망에서의 클래스 불균형 문제를 해결한다.
• 소수 클래스의 특징 희소성로 인해 도메인 외 샘플이 생성되는 기존 믹스업 방법의 한계를 극복한다.
• 지역 및 전역 구조적 정보를 모두 포착하는 자기지도 프레임워크를 개발하여 합성 노드의 현실적인 엣지 생성을 안내한다.
• 수동 하이퍼파라미터 조정에 의존하지 않고, 각 소수 클래스당 합성 샘플 수를 최적화하는 학습 가능한 적응형 메커니즘으로 히ュ리스틱 업샘플링 비율을 대체한다.
• 수동 하이퍼파라미터 튜닝 없이 다양한 불균형 비율에서 일관된 성능 향상을 달성한다.

제안 방법

• 희소한 소수 클래스에서 도메인 외 샘플 생성을 줄이기 위해 의미 수준에서 특징 믹스업을 수행할 수 있도록 의미 관계 공간을 분리하여 구성한다.
• 지역 및 전역 구조적 의존성을 포착하기 위해 두 가지 맥락 기반 자기지도 과제인 Local-Path Prediction과 Glocal-Path Prediction을 설계한다.
• 이 자기지도 과제를 사용하여 합성 노드와 기존 노드 간의 연결을 예측하는 엣지 예측기 모델을 훈련시켜 현실적인 엣지 믹스업을 가능하게 한다.
• 성능 피드백에 기반해 각 소수 클래스에 대한 최적의 업샘플링 스케일을 동적으로 결정하는 강화 학습 에이전트를 통합한다.
• 의미 특징 믹스업, 엣지 믹스업, 적응형 업샘플링을 통합적이고 엔드 투 엔드 훈련 프레임워크 내에서 공동 최적화한다.
• 상관관계 분석을 통해 검증된 특수 SEM 모듈을 갖춘 브로드캐스트 인코더(예: GCN, GAT, SAGE)를 사용하여 의미 특징을 분리한다.

실험 결과

연구 질문

• RQ1 희소한 소수 클래스에서 의미 수준의 특징 믹스업이 도메인 외 샘플 생성을 완화할 수 있는가?
• RQ2 합성 노드의 현실적인 엣지 예측을 안내하기 위해 지역 및 전역 구조적 정보를 효과적으로 포착하는 방법은 무엇인가?
• RQ3 강화 학습 기반 적응형 업샘플링 메커니즘이 히ュ리스틱 또는 고정 스케일 접근 방식보다 클래스 불균형 노드 분류에서 우월한가?
• RQ4 자기지도 맥락 예측 과제는 불균형 그래프 데이터에서 모델의 일반화 능력과 강건성을 얼마나 향상시키는가?
• RQ5 제안된 프레임워크는 다양한 불균형 비율에서 기존 최신 기술 수준의 방법들을 일관되게 초월할 수 있는가?

주요 결과

• GraphMixup는 다양한 불균형 비율에서 세 가지 실세계 데이터셋(Cora, PubMed, Reddit)에서 모두 최고의 성능을 기록했으며, GraphSMOTE 및 SMOTE를 포함한 베이스라인을 모두 능가했다.
• SEM 블로킹 인코더와 전체 GraphMixup 구성 요소를 갖춘 변형(GraphMixup$_C$)은 Cora에서 F1-macro 점수 0.942를 기록했으며, 다음으로 우수한 방법인 GraphSMOTE보다 0.012 높았다.
• 강화 학습 메커니즘이 최적의 업샘플링 스케일 0.8(초기 값 0.5)로 수렴했으며, 고정 스케일을 사용한 아보레이션 연구에서 관찰된 최고 성능과 일치했다.
• 아보레이션 연구 결과, Local-Path 및 Glocal-Path Prediction 과제 모두 필수적이며, 이들의 조합이 가장 높은 ROC-AUC 점수와 최고의 전반적 성능를 기록했다.
• 상관관계 분석 결과, SEM 모듈이 특징 상관관계 맵에 네 개의 명확한 대각 블록을 생성하여 의미 특징의 효과적인 분리가 이루어졌음을 확인했다.
• 강화 학습 메커니즘을 제거한 경우(GraphMixup-Fix), 업샘플링 스케일이 0.8를 초과할 경우 성능 저하가 발생하여 적응형 스케일링의 필요성을 확인했다.