[논문 리뷰] Multi-Stage Self-Supervised Learning for Graph Convolutional Networks.

Ke Sun, Zhanxing Zhu외 1명|arXiv (Cornell University)|2019. 02. 28.

Advanced Graph Neural Networks인용 수 20

한 줄 요약

이 논문은 레이블이 부족한 노드를 가진 그래프에서 일반화 능력을 향상시키기 위해 DeepCluster 기반의 자기지도 학습을 다단계 훈련 프레임워크에 통합한 새로운 GCN 훈련 알고리즘인 다단계 자기지도 학습(M3S) 훈련을 제안한다. 이 방법은 반복적인 클러스터링과 특징 정렬을 통해 임베딩 품질을 향상시키며, 낮은 레이블 레이트 설정에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Graph Convolutional Networks(GCNs) play a crucial role in graph learning tasks, however, learning graph embedding with few supervised signals is still a difficult problem. In this paper, we propose a novel training algorithm for Graph Convolutional Network, called Multi-Stage Self-Supervised(M3S) Training Algorithm, combined with self-supervised learning approach, focusing on improving the generalization performance of GCNs on graphs with few labeled nodes. Firstly, a Multi-Stage Training Framework is provided as the basis of M3S training method. Then we leverage DeepCluster technique, a popular form of self-supervised learning, and design corresponding aligning mechanism on the embedding space to refine the Multi-Stage Training Framework, resulting in M3S Training Algorithm. Finally, extensive experimental results verify the superior performance of our algorithm on graphs with few labeled nodes under different label rates compared with other state-of-the-art approaches.

연구 동기 및 목표

• 소수의 레이블이 있는 노드만 존재할 때 그래프 컨volution 네트워크(GCN)를 효과적으로 훈련시키는 데 도전하는 것.
• 자기지도 학습을 활용해 레이블이 적은 환경에서 GCN의 일반화 능력을 향상시키는 것.
• 다단계 클러스터링과 정렬을 통해 점진적으로 노드 임베딩을 개선하는 훈련 프레임워크를 설계하는 것.
• 그래프 학습 작업에서 다양한 레이블 레이트 조건 하에서 기존 최신 기술 수준의 방법들을 능가하는 것.

제안 방법

• 기초가 되는 다단계 훈련 프레임워크를 구축하여, 여러 훈련 단계에 걸쳐 그래프 임베딩을 점진적으로 개선한다.
• 각 단계에서 레이블이 없는 노드의 의사 레이블을 생성하기 위해 자기지도 클러스터링 기법인 DeepCluster를 적용한다.
• 연속된 단계 간의 클러스터를 정렬함으로써 노드 표현을 개선하는 임베딩 공간 정렬 메커니즘을 설계한다.
• 레이블된 데이터와 의사 레이블 클러스터를 모두 사용해 반복적으로 노드 임베딩을 업데이트함으로써 특징 품질을 시간이 지남에 따라 향상시킨다.
• 클러스터링과 특징 개선을 번갈아 수행함으로써 닫힌 루프 자기지도 학습 메커니즘을 형성한다.
• 최종 모델은 감독 신호와 자기지도 학습 기반 의사 레이블을 모두 사용해 엔드 투 엔드로 훈련되어 강건성과 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 레이블 데이터가 부족한 상황에서 다단계 훈련 프레임워크가 GCN 성능을 향상시킬 수 있는가?
• RQ2 DeepCluster 기반 자기지도 학습을 통합함으로써 낮은 레이블 환경에서 노드 표현 학습이 어떻게 향상되는가?
• RQ3 반복적인 임베딩 정렬이 다양한 레이블 레이트 조건에서 모델의 일반화에 어떤 영향을 미치는가?
• RQ4 다양한 레이블 부족 조건 하에서 M3S는 최신 기술 수준의 방법들과 비교해 어떻게 성능을 냈는가?

주요 결과

• M3S 훈련 알고리즘이 레이블이 적은 노드를 가진 그래프에서 최신 기술 수준의 방법들보다 뛰어난 성능을 달성한다.
• 특정 데이터셋과 다양한 레이블 레이트 조건에서도 일관된 향상이 나타나며, 특히 저감독 환경에서 두드러진다.
• DeepCluster와 임베딩 정렬의 통합이 학습된 노드 임베딩의 품질을 크게 향상시킨다.
• 다단계 훈련 프레임워크는 점진적인 개선을 가능하게 하여 더 나은 수렴과 일반화를 이끈다.
• 자기지도 학습 구성 요소는 레이블 데이터의 제한을 효과적으로 보완하여 감독에 대한 의존도를 줄인다.
• 광범위한 실험을 통해 M3S가 다양한 그래프 학습 벤치마크에서 강건성과 효과성을 입증한다.