[논문 리뷰] Effective Semi-Supervised Node Classification on Few-Labeled Graph Data

Ziang Zhou, J. Y. Shi외 3명|arXiv (Cornell University)|2019. 10. 07.

Advanced Graph Neural Networks참고 문헌 48인용 수 4

한 줄 요약

이 논문은 적은 수의 레이블이 부여된 노드를 가진 그래프에서 준지도 학습 노드 분류 성능을 크게 향상시키기 위해 적응형 가짜 레이블링, 왜곡된 데이터를 위한 레이블 밸런싱, 그리고 음성 샘플링 정규화 기법을 사용하는 ABN 프레임워크를 제안한다. Cora에서 클래스당 레이블이 1개 뿐일 경우, ABN은 GCN의 정확도를 44.6%에서 62.5%로 향상시키며, DAGNN의 정확도는 59.8%에서 66.4%로 상승시켜 네 가지 벤치마크 데이터셋에서 최고 성능을 기록한다.

ABSTRACT

Graph neural networks (GNNs) are designed for semi-supervised node classification on graphs where only a small subset of nodes have class labels. However, under extreme cases when very few labels are available (e.g., 1 labeled node per class), GNNs suffer from severe result quality degradation. Several existing studies make an initial effort to ease this situation, but are still far from satisfactory. In this paper, on few-labeled graph data, we propose an effective framework ABN that is readily applicable to both shallow and deep GNN architectures and significantly boosts classification accuracy. In particular, on a benchmark dataset Cora with only 1 labeled node per class, while the classic graph convolutional network (GCN) only has 44.6% accuracy, an immediate instantiation of ABN over GCN achieves 62.5% accuracy; when applied to a deep architecture DAGNN, ABN improves accuracy from 59.8% to 66.4%, which is state of the art. ABN obtains superior performance through three main algorithmic designs. First, it selects high-quality unlabeled nodes via an adaptive pseudo labeling technique, so as to adaptively enhance the training process of GNNs. Second, ABN balances the labels of the selected nodes on real-world skewed graph data by pseudo label balancing. Finally, a negative sampling regularizer is designed for ABN to further utilize the unlabeled nodes. The effectiveness of the three techniques in ABN is well-validated by both theoretical and empirical analysis. Extensive experiments, comparing 12 existing approaches on 4 benchmark datasets, demonstrate that ABN achieves state-of-the-art performance.

연구 동기 및 목표

• 레이블이 극히 소수일 경우(예: 클래스당 1개의 레이블), 그래프 신경망(GNN)의 심각한 성능 저하 문제를 해결한다.
• 얕은 구조와 깊은 구조의 GNN 아키텍처 모두에 적용 가능한 일반화 능력을 갖춘 프레임워크를 개발하여, 낮은 레이블 환경에서의 노드 분류 정확도를 향상시킨다.
• 레이블 부족이 극심할 경우 성능 유지가 어려운 기존 방법의 한계를 극복한다.
• 지능적인 가짜 레이블링과 정규화 기법을 통해 미레이블된 노드를 효과적으로 활용하여 모델의 일반화 능력을 향상시킨다.
• 왜곡된 클래스 분포를 가진 실세계 그래프에서도 안정성을 확보하기 위해 가짜 레이블 밸런싱을 통합한다.

제안 방법

• 예측 신뢰도와 그래프 구조를 기반으로 고품질의 미레이블된 노드를 동적으로 선택하는 적응형 가짜 레이블링 기법을 도입하여 GNN 학습을 향상시킨다.
• 실세계 그래프에서의 클래스 불균형 영향을 줄이기 위해 학습 중에 가짜 레이블된 노드를 재가중 또는 재샘플링하는 가짜 레이블 밸런싱 기법을 적용한다.
• 양성 가짜 레이블된 노드와 미레이블된 집합에서 추출한 음성 샘플을 대조함으로써 모델의 분류 능력을 향상시키는 음성 샘플링 정규화 기법을 설계한다.
• 적응형 선택, 레이블 밸런싱, 음성 샘플링의 세 가지 구성 요소를 통합하여 GNN 아키텍처의 변경 없이 성능을 향상시키는 통합 프레임워크를 구현한다.
• 신뢰도 기반 임계값 기반 필터링 메커니즘을 도입하여 신뢰도가 낮은 가짜 레이블은 학습에서 제외함으로써 안정성을 확보한다.
• GCN 및 DAGNN과 같은 깊은 아키텍처 모두를 지원하여 다양한 GNN 유형에 대한 광범위한 적용 가능성을 입증한다.

실험 결과

연구 질문

• RQ1 클래스당 레이블이 한 개 뿐일 경우, 통합 프레임워크가 준지도 학습 노드 분류에서 GNN 성능을 크게 향상시킬 수 있는가?
• RQ2 적응형 가짜 레이블링 기법이 극도로 레이블이 부족한 환경에서 유의미한 미레이블된 노드를 효과적으로 선택하여 GNN 학습을 향상시키는 데 얼마나 효과적인가?
• RQ3 왜곡된 클래스 분포를 가진 실세계 그래프에서 가짜 레이블 밸런싱이 성능 향상에 얼마나 기여하는가?
• RQ4 음성 샘플링 정규화 기법이 소수의 레이블이 부여된 그래프 데이터에서 모델 일반화 능력을 향상시키는 데 기여하는 정도는 어떠한가?
• RQ5 제안된 ABN 프레임워크가 낮은 레이블 설정에서 다양한 벤치마크 데이터셋에서 최고 성능을 기록하는가?

주요 결과

• 클래스당 레이블이 1개 뿐인 Cora 데이터셋에서 ABN은 GCN의 정확도를 44.6%에서 62.5%로 향상시켜 표준 GNN보다 뚜렷한 성능 향상을 보였다.
• 깊은 DAGNN 아키텍처에 적용했을 경우, ABN은 정확도를 59.8%에서 66.4%로 상승시켜 동일한 소수 레이블 설정에서 Cora에서 새로운 최고 성능을 기록했다.
• 네 가지 벤치마크 데이터셋에 대한 광범위한 실험 결과, ABN은 낮은 레이블 환경에서 12개의 기존 방법보다 일관되게 뛰어난 성능을 기록했다.
• 제거 실험 결과, ABN의 각 구성 요소—적응형 가짜 레이블링, 레이블 밸런싱, 음성 샘플링 정규화—가 전체 성능 향상에 기여한다는 것이 확인되었다.
• 얕은 구조와 깊은 구조의 GNN 아키텍처 모두에서 뛰어난 성능 유지를 보이며, 프레임워크의 일반화 능력과 강건성을 입증했다.
• 이론적 및 실증적 분석을 통해 ABN의 세 핵심 구성 요소가 소수 레이블이 부여된 그래프에서 학습 동역학을 효과적으로 안정화하고 향상시킨다는 것이 검증되었다.