[논문 리뷰] Self-supervised Training of Graph Convolutional Networks

Qikui Zhu, Bo Du외 1명|arXiv (Cornell University)|2020. 06. 03.

Advanced Graph Neural Networks참고 문헌 21인용 수 27

한 줄 요약

이 논문은 레이블이 없는 데이터를 요구하지 않고 그래프 컬러네이션 네트워크(GCNs)의 성능을 향상시키기 위해 무작위로 링크를 제거하는(RRL) 및 무작위로 특징을 가림하는(RCF) 두 가지 자기지도 학습 전략을 제안한다. 그래프 구조와 노드 특징을 사전 과제로 활용함으로써, 특징 학습 능력을 향상시키고, 저명도 네트워크에서 분류 정확도를 높인다. Cora, Citeseer, PubMed에서 상태의 기술(SOTA) 성능을 달성하며, GCN의 평균 2.65% 향상과 GAT의 평균 0.70% 향상을 기록한다.

ABSTRACT

Graph Convolutional Networks (GCNs) have been successfully applied to analyze non-grid data, where the classical convolutional neural networks (CNNs) cannot be directly used. One similarity shared by GCNs and CNNs is the requirement of massive amount of labeled data for network training. In addition, GCNs need the adjacency matrix as input to define the relationship between those non-grid data, which leads to all of data including training, validation and test data typically forms only one graph structures data for training. Furthermore, the adjacency matrix is usually pre-defined and stationary, which makes the data augmentation strategies cannot be employed on the constructed graph structures data to augment the amount of training data. To further improve the learning capacity and model performance under the limited training data, in this paper, we propose two types of self-supervised learning strategies to exploit available information from the input graph structure data itself. Our proposed self-supervised learning strategies are examined on two representative GCN models with three public citation network datasets - Citeseer, Cora and Pubmed. The experimental results demonstrate the generalization ability as well as the portability of our proposed strategies, which can significantly improve the performance of GCNs with the power of self-supervised learning in improving feature learning.

연구 동기 및 목표

• 학습에 많은 레이블 데이터가 필요한 GCN의 한계를 해결하기 위해, 특히 데이터가 적은 환경에서의 성능 향상.
• 고정된 사전 정의된 그래프 구조로 인해 GCN에서 데이터 증강이 어려운 문제를 해결.
• 수동 애너테이션 없이도 내재된 그래프 구조와 노드 특징을 활용하여 GCN의 특징 학습 능력을 향상시키기.
• 다양한 GCN 아키텍처와 데이터셋에 일반화되고 이식 가능한 자기지도 학습 전략 개발.

제안 방법

• 무작위로 링크를 제거하는(RRL) 및 무작위로 특징을 가리는(RCF) 두 가지 자기지도 사전 과제를 도입하여 가짜 지도 신호를 생성.
• GCN 및 GAT 모델에 최종에 링크 예측 헤드를 추가하여 사전 과제 학습을 가능하게 함.
• Adam 옵timizer를 사용하고 L2 정규화 및 드롭아웃을 적용하여, 무작위로 제거된 간선(RRL)과 마스킹된 노드 특징(RCF)이 있는 원본 그래프에서 모델을 훈련.
• 자기지도 사전 훈련 단계에서 학습된 가중치를 분류 헤드 초기화에 사용한 후, 최종 노드 분류 과제에서 미세조정 수행.
• 자기지도 사전 훈련 후 학습된 노드 표현의 품질을 분석하기 위해 t-SNE 시각화를 적용.
• 통계적 안정성을 확보하기 위해 여러 시행(10회)을 거쳐 평균 정확도와 95% 신뢰구간을 보고.

실험 결과

연구 질문

• RQ1 레이블 데이터가 부족한 상황에서 자기지도 학습이 GCN의 특징 표현 능력을 향상시킬 수 있는가?
• RQ2 RRL과 RCF가 저명도 네트워크 벤치마크에서 GCN 성능 향상에 얼마나 효과적인 사전 과제인가?
• RQ3 자기지도 사전 훈련 전략은 GCN 및 GAT와 같은 다양한 GCN 아키텍처 간에 일반화되는가?
• RQ4 RRL과 RCF가 최종 분류 정확도에 개별적으로 및 함께 기여하는 정도는 어느 정도인가?
• RQ5 자기지도 학습이 추가 애너테이션 없이도 표준 저명도 네트워크 데이터셋에서 최고 성능(SOTA)을 달성할 수 있는가?

주요 결과

• RRL과 RCF의 조합(RRL & RCF)이 Cora 데이터셋에서 가장 높은 성능을 기록하였으며, 개별 전략 및 기준 GCN보다 유의미하게 뛰어났다.
• RRL과 RCF 각각이 기준 GCN 대비 GCN 정확도를 향상시켰으며, 대응 t-검정에서 p-값 < 0.05로 통계적 유의성을 확인하였다.
• RRL & RCF 전략은 Citeseer, Cora, PubMed에서 평균 2.65% 향상으로 강력한 일반화성과 이식 가능성을 입증하였다.
• GAT 모델 역시 자기지도 전략으로부터 평균 0.70% 향상으로 유의미한 이점을 얻었으며, 아키텍처 간의 강건성을 보였다.
• t-SNE 시각화 결과, 자기지도 학습이 원본 입력 특징보다 더 분류 용이하고 잘 분리된 노드 표현을 생성했음을 확인하였다.
• 제안된 SSL 방법은 세 가지 저명도 네트워크 데이터셋에서 모두 최고 성능(SOTA)을 달성하여 그 효과성과 전이 가능성의 타당성을 입증하였다.