[논문 리뷰] Multi-Stage Self-Supervised Learning for Graph Convolutional Networks on Graphs with Few Labels

Ke Sun, Zhouchen Lin외 1명|arXiv (Cornell University)|2019. 02. 28.

Advanced Graph Neural Networks참고 문헌 23인용 수 18

한 줄 요약

이 논문은 레이블이 적은 노드를 가진 그래프에서 그래프 컨volution 네트워크(GCNs)의 성능을 향상시키기 위해 다단계 훈련 프레임워크와 DeepCluster 기반의 자기지도 학습을 결합한 새로운 알고리즘인 다단계 자기지도 학습(M3S) 훈련을 제안한다. 반복적으로 클러스터링을 통해 의사 레이블을 개선하고 임bedding을 정렬함으로써 M3S는 일반화 능력을 크게 향상시키며, 특히 낮은 감독 수준에서 최신 기술 대비 뛰어난 성능을 보인다.

ABSTRACT

Graph Convolutional Networks(GCNs) play a crucial role in graph learning tasks, however, learning graph embedding with few supervised signals is still a difficult problem. In this paper, we propose a novel training algorithm for Graph Convolutional Network, called Multi-Stage Self-Supervised(M3S) Training Algorithm, combined with self-supervised learning approach, focusing on improving the generalization performance of GCNs on graphs with few labeled nodes. Firstly, a Multi-Stage Training Framework is provided as the basis of M3S training method. Then we leverage DeepCluster technique, a popular form of self-supervised learning, and design corresponding aligning mechanism on the embedding space to refine the Multi-Stage Training Framework, resulting in M3S Training Algorithm. Finally, extensive experimental results verify the superior performance of our algorithm on graphs with few labeled nodes under different label rates compared with other state-of-the-art approaches.

연구 동기 및 목표

• 레이블이 적은 경우, 특히 얕은 아키텍처로 인해 레이블 신호 전파가 제한되어 GCN의 일반화 능력이 떨어지는 문제를 해결하기 위해.
• 최소한의 레이블 데이터를 가진 약한 감독 설정에서도 일관되게 효과적인 GCN 훈련 알고리즘을 개발하기 위해.
• 자기지도 학습, 특히 DeepCluster를 다단계 훈련 프레임워크에 통합하여 비라벨 데이터를 활용해 모델 성능을 향상시키기 위해.
• 클러스터 기반의 정렬 메커니즘을 설계하여 의사 레이블의 품질을 향상시키고 낮은 레이블 비율 그래프에서의 훈련 안정성을 높이기 위해.

제안 방법

• 고신뢰도의 비라벨 노드를 반복적으로 추가하는 다단계 훈련 프레임워크를 제안하며, 신뢰도 필터링을 통한 자기학습을 모방한다.
• GCN 임베딩 특징에 대해 DeepCluster를 적용하여 인간의 레이블링 없이도 비라벨 노드의 클러스터 할당을 생성함으로써 의사 레이블을 형성한다.
• 클러스터 할당과 예측된 클래스 분포 간의 일관성을 강제하는 새로운 정렬 메커니즘을 설계하여 의사 레이블의 품질을 향상시킨다.
• 다단계 프레임워크와 DeepCluster 의사 레이블링을 계단식으로 통합하여 단계 간에 임베딩과 예측을 개선한다.
• 대칭 라플라시안 스무딩을 이론적 기초로 삼아 GCN의 한계를 분석하고 깊이 있는 반복적 훈련의 필요성을 정당화한다.
• Max-Min Ratio를 사용해 의사 레이블의 클래스 균형을 측정하고, DeepCluster의 클러스터 수를 최적화하여 잠재적 트ivial 솔루션을 방지한다.

실험 결과

연구 질문

• RQ1 레이블 수가 매우 적을 경우, 레이블 신호 전파가 비효율적이기 때문에 GCN의 성능이 심각하게 저하되는가?
• RQ2 반복적 의사 레이블링을 포함한 다단계 훈련 프레임워크가 레이블 수가 적은 그래프에서 GCN의 일반화 능력을 향상시키는가?
• RQ3 DeepCluster를 통한 자기지도 학습이 다단계 훈련 전략과 결합될 경우 모델 성능에 어떤 영향을 미치는가?
• RQ4 클러스터 수가 낮은 감독 설정에서 의사 레이블의 균형과 최종 분류 정확도에 어떤 영향을 미치는가?
• RQ5 제안된 M3S 프레임워크는 다양한 그래프 데이터셋과 레이블 비율에서 기존 최신 기술 대비 일관되게 승리하는가?

주요 결과

• GCN의 성능은 레이블 비율이 낮은 그래프에서 심각하게 저하되며, 특히 레이블 수가 매우 적을 경우 레이블 전파 방법보다도 성능이 열 劣하다.
• Co-Training, Self-Training, Union, Intersection와 같은 기존 방법들은 다양한 레이블 비율에서 성능이 일관되지 않아 실용적 적용에 한계가 있다.
• 다단계 훈련 프레임워크는 희소한 레이블 설정에서 표준 Self-Training보다 뛰어나며, 반복적인 데이터 확장을 통한 가치를 입증한다.
• M3S 훈련 알고리즘은 모든 데이터셋과 레이블 비율에서 모든 최신 기술 기반선을 일관되게 뛰어넘으며, 특히 레이블 비율이 가장 낮을 때 가장 큰 성과를 기록한다.
• Max-Min Ratio 지표는 DeepCluster의 클러스터 수를 늘일수록 클래스 균형이 향상되고, 이는 더 나은 모델 성능으로 이어진다는 것을 보여준다.
• CorA, Citeseer, PubMed에서 최신 기술 정확도를 확보하였으며, 특히 PubMed에서 레이블 비율이 낮을 경우 최대 70.6% 향상된 성능을 기록했다.