[논문 리뷰] Distance-wise Prototypical Graph Neural Network in Node Imbalance Classification

Yu Wang, Charu C. Aggarwal외 1명|arXiv (Cornell University)|2021. 10. 22.

Imbalanced Data Classification Techniques참고 문헌 37인용 수 9

한 줄 요약

이 논문은 불균형한 노드 분류를 위한 새로운 GNN 프레임워크인 거리 기반 프로토타입 그래프 신경망(DPGNN)을 제안한다. 이 프레임워크는 클래스 프로토타입 기반 훈련을 통해 클래스 간 손실 균형을 맞추고, 거리 메트릭 학습을 통해 노드 표현과 클래스 프로토타입 간의 구분 능력을 향상시킨다. DPGNN은 8개의 실세계 데이터셋에서 기존의 베이스라인보다 뚜렷이 뛰어난 성능을 보이며, 그래프 구조 데이터에서의 클래스 불균형 문제 해결에 최신 기술 수준(SOTA) 성능을 입증한다.

ABSTRACT

Recent years have witnessed the significant success of applying graph neural networks (GNNs) in learning effective node representations for classification. However, current GNNs are mostly built under the balanced data-splitting, which is inconsistent with many real-world networks where the number of training nodes can be extremely imbalanced among the classes. Thus, directly utilizing current GNNs on imbalanced data would generate coarse representations of nodes in minority classes and ultimately compromise the classification performance. This therefore portends the importance of developing effective GNNs for handling imbalanced graph data. In this work, we propose a novel Distance-wise Prototypical Graph Neural Network (DPGNN), which proposes a class prototype-driven training to balance the training loss between majority and minority classes and then leverages distance metric learning to differentiate the contributions of different dimensions of representations and fully encode the relative position of each node to each class prototype. Moreover, we design a new imbalanced label propagation mechanism to derive extra supervision from unlabeled nodes and employ self-supervised learning to smooth representations of adjacent nodes while separating inter-class prototypes. Comprehensive node classification experiments and parameter analysis on multiple networks are conducted and the proposed DPGNN almost always significantly outperforms all other baselines, which demonstrates its effectiveness in imbalanced node classification. The implementation of DPGNN is available at \url{https://github.com/YuWVandy/DPGNN}.

연구 동기 및 목표

• 그래프 신경망에서 소수의 클래스가 부족하게 표현되고 잘 학습되지 않는 문제를 해결하기 위해, 클래스 불균형이라는 핵심 과제를 다루는 것.
• 불균형한 레이블 데이터로 표준 GNN 훈련을 수행할 경우 발생하는 주류 클래스에 대한 편향을 완화하는 것.
• 더 잘 표현되는 클래스 프로토타입을 구성함으로써 소수 클래스 노드의 표현 학습을 향상시키는 것.
• 거리 메트릭 학습을 통해 노드 임베딩과 클래스 프로토타입 간의 구분 능력을 향상시키는 것.
• 새로운 불균형 레이블 전파 메커니즘과 자기지도 학습을 활용해 미레이블된 노드를 활용하여 일반화 능력을 향상시키는 것.

제안 방법

• 각 클래스가 훈련 손실에 기여하는 비중을 균형 있게 만들기 위해 클래스 프로토타입 기반 훈련 기법을 도입하여 주류 클래스의 지배를 줄이는 것.
• 각 노드의 표현과 모든 클래스 프로토타입 간의 상대적 거리를 계산하고 최적화하기 위해 거리 메트릭 학습을 활용하며, 정보가 많은 차원을 강조하는 것.
• 불균형한 레이블 전파 메커니즘을 설계하여 레이블이 부여된 노드에서 레이블이 없는 노드로 가짜 레이블을 전파하며, 클래스별 가중치를 적용해 불균형을 처리하는 것.
• 이웃 노드의 표현을 부드럽게 하면서도 클래스 간 프로토타입 간의 분리도 유지하기 위해 자기지도 학습을 적용하는 것.
• 두 단계 학습 과정을 사용한다: 첫 번째로 최적화 안정화를 위해 프로토타입 기반 훈련을 수행하고, 두 번째로 표현의 구분 능력을 향상시키기 위해 거리 메트릭 학습을 수행하는 것.
• t-SNE 시각화와 실루엣 점수를 활용해 학습된 표현의 품질과 클러스터링 성능을 분석하고 검증하는 것.

실험 결과

연구 질문

• RQ1 GNN에서 프로토타입 기반 훈련 기법이 소수 클래스와 주류 클래스의 손실 기여도를 효과적으로 균형 있게 만들 수 있는가?
• RQ2 거리 메트릭 학습이 노드 표현의 클래스 프로토타입에 대한 구분 능력을 향상시키는가?
• RQ3 레이블이 없는 노드로부터의 불균형 레이블 전파가 소수 클래스 학습을 향상시키는 의미 있는 지도를 제공할 수 있는가?
• RQ4 자기지도 학습이 불균형한 그래프에서 노드 표현의 강건성과 분리도를 어느 정도 향상시키는가?
• RQ5 다양한 실세계 불균형 그래프 데이터셋에서 DPGNN은 기존의 최신 기술 수준(SOTA) 방법들과 비교해 성능 면에서 어떻게 뛰어나게 되는가?

주요 결과

• DPGNN는 8개의 실세계 데이터셋에서 모든 기존 베이스라인보다 유의미하게 높은 F1-macro 점수를 기록하여 불균형한 노드 분류에서 일관된 우수성을 입증한다.
• 거리 메트릭 표현 학습을 통해 노드에서 자신의 클래스 프로토타입까지의 거리가 항상 가장 짧아지게 보장하여 오분류 위험을 줄인다.
• t-SNE 시각화 결과 DPGNN의 거리 메트릭 표현은 클래스 간에 더 명확하게 분리되어 있으며, GCN 대비 실루엣 점수(0.117 vs. 0.099)가 높게 나타난다.
• GCN의 표현이 잘못된 프로토타입 주변에 소수 클래스가 뭉쳐지는 클러스터링 편향을 보이지만, DPGNN은 더 잘 표현되는 프로토타입을 학습함으로써 이를 완화한다.
• 제거 실험 결과, 자기지도 학습과 불균형 레이블 전파 모두 성능 향상에 필수적이며, 특히 소수 클래스에서 두드러진 효과를 보인다.
• 극도의 클래스 불균형 조건에서도 성능 향상이 유지되며, Cora와 Citeseer에서 다양한 레이블 전파 임계값 설정에서도 일관된 개선 효과를 보였다.