[논문 리뷰] Contrastive and Generative Graph Convolutional Networks for Graph-based Semi-Supervised Learning

Sheng Wan, Shirui Pan외 2명|arXiv (Cornell University)|2020. 09. 15.

Domain Adaptation and Few-Shot Learning참고 문헌 60인용 수 12

한 줄 요약

이 논문은 반감독 학습에서의 표현 학습을 향상시키기 위해 반감독 대비 학습과 그래프 생성 모델링을 동시에 활용하는 새로운 그래프 컨volution 네트워크 프레임워크인 CG3를 제안한다. 다중 시각의 그래프 컨볼루션을 통한 데이터 유사성과 특징 및 구조 간의 구조적 관계를 활용함으로써, 특히 저라벨 환경에서 최신 기술(SOTA) 수준의 성능을 달성하며, Cora, CiteSeer, PubMed에서 DGI, GRACE, MVGRL 등의 방법보다 최대 4%의 정확도 향상을 기록한다.

ABSTRACT

Graph-based Semi-Supervised Learning (SSL) aims to transfer the labels of a handful of labeled data to the remaining massive unlabeled data via a graph. As one of the most popular graph-based SSL approaches, the recently proposed Graph Convolutional Networks (GCNs) have gained remarkable progress by combining the sound expressiveness of neural networks with graph structure. Nevertheless, the existing graph-based methods do not directly address the core problem of SSL, i.e., the shortage of supervision, and thus their performances are still very limited. To accommodate this issue, a novel GCN-based SSL algorithm is presented in this paper to enrich the supervision signals by utilizing both data similarities and graph structure. Firstly, by designing a semi-supervised contrastive loss, improved node representations can be generated via maximizing the agreement between different views of the same data or the data from the same class. Therefore, the rich unlabeled data and the scarce yet valuable labeled data can jointly provide abundant supervision information for learning discriminative node representations, which helps improve the subsequent classification result. Secondly, the underlying determinative relationship between the data features and input graph topology is extracted as supplementary supervision signals for SSL via using a graph generative loss related to the input features. Intensive experimental results on a variety of real-world datasets firmly verify the effectiveness of our algorithm compared with other state-of-the-art methods.

연구 동기 및 목표

• 제한된 레이블 데이터로 인해 모델의 일반화 능력과 학습 안정성이 제한되는 반감독 학습의 核심 과제를 해결한다.
• 구조 외에도 데이터 유사성을 통한 대비 학습을 통해 비라벨 데이터를 능동적인 지도 신호로 활용한다.
• 입력 그래프의 구조적 구조와 노드 특징 간의 잠재적 관계를 추출하고 이를 보조 지도 신호로 활용한다.
• 대비 학습과 생성 모델링 목표를 통합한 단일 GCN 기반 프레임워크를 개발하여 분류 가능한 노드 표현 학습을 향상시킨다.
• 특히 레이블 데이터가 부족한 상황에서 전도적 노드 분류 성능을 뛰어나게 달성한다.

제안 방법

• 동일한 노드의 전역 및 국소 시각 간의 일치를 극대화하는 반감독 대비 손실을 제안하며, 클래스 정보를 활용해 표현 정렬을 이끌어낸다.
• 대비 학습을 위한 다중 시각 노드 표현을 생성하기 위해 표준 GCN와 HGCN를 병렬로 사용하는 두 개의 GCN 브랜치를 활용한다.
• 노드 특징에 조건부로 입력 그래프의 확률을 모델링하는 그래프 생성 손실을 도입하여, 구조와 특징 간의 결정적 관계를 포착한다.
• 대비 손실과 그래프 생성 손실을 통합하여 하나의 훈련 목표로 조합함으로써 표현 학습과 구조 일관성을 동시에 최적화한다.
• 레이블 데이터, 비라벨 데이터, 그래프 구조를 조합하여 종합적인 지도 신호를 풍부하게 하여 종단 간(end-to-end)으로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 클래스 인식 지도를 갖춘 대비 학습은 저라벨 반감독 학습에서 노드 표현 품질을 향상시키는가?
• RQ2 노드 특징과 그래프 구조 간의 구조적 관계를 통합할 경우 분류 성능는 어떻게 향상되는가?
• RQ3 다중 시각 그래프 컨볼루션과 대비 학습을 통한 성능은 단일 시각 GCN 기반 모델 대비 얼마나 뛰어나게 되는가?
• RQ4 그래프 구조의 생성 모델링 통합은 레이블 데이터가 부족한 상황에서 일반화 능력을 향상시키는가?
• RQ5 대비 학습과 생성 모델링 구성 요소 각각이 전체 성능 향상에 기여하는 정도는 어느 정도인가?

주요 결과

• Cora 데이터셋에서 CG3는 83.4%의 정확도를 기록하여 다음으로 우수한 방법(HGCN)보다 0.5% 높고, 베이스라인 GCN보다 5.0% 높다.
• 0.5% 라벨 비율로 CiteSeer에서 CG3는 62.7%의 정확도를 달성하여 최고의 베이스라인(MVGRL)보다 1.0% 높고, DGI보다 2.0% 높다.
• 0.03% 라벨 비율로 PubMed에서 CG3는 68.3%의 정확도를 기록하여 동일한 저감독 조건에서 GCN(61.8%)과 GRACE(64.4%)를 크게 앞서며 뚜렷한 승리를 거두었다.
• 제거 실험 결과, 대비 손실 또는 생성 손실을 제거할 경우 성능 저하가 발생하며, 특히 CiteSeer에서 대비 손실이 최대 4%의 정확도 향상 기여를 하였다.
• t-SNE 시각화 결과, CG3는 GCN 및 HGCN보다 더 잘 정렬되고 분리 가능한 클래스 클러스터를 생성함으로써 더 나은 표현 학습 능력을 보였다.
• 모든 데이터셋과 라벨 비율에서 최신 기술인 대비 GCN 방법(DGI, GMI, MVGRL, GRACE)을 일관되게 능가하며, 특히 극도로 라벨이 부족한 상황에서 두드러진 성능 향상을 보였다.