[논문 리뷰] AutoGCL: Automated Graph Contrastive Learning via Learnable View Generators

Yihang Yin, Qingzhong Wang외 3명|arXiv (Cornell University)|2021. 09. 21.

Advanced Graph Neural Networks인용 수 9

한 줄 요약

AutoGCL는 그래프 인코더와 분류기와 함께 미분 가능하고 적응 가능한 뷰 생성기를 공동으로 훈련시켜 그래프 표현 학습에서 대비 학습을 자동화하는 학습 가능한 그래프 뷰 생성기 프레임워크를 제안한다. 의미적 구조를 유지하면서 동시에 위상적 다양성을 도입함으로써 AutoGCL는 여러 그래프 데이터셋에서 준지도, 무지도, 전이 학습 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Contrastive learning has been widely applied to graph representation learning, where the view generators play a vital role in generating effective contrastive samples. Most of the existing contrastive learning methods employ pre-defined view generation methods, e.g., node drop or edge perturbation, which usually cannot adapt to input data or preserve the original semantic structures well. To address this issue, we propose a novel framework named Automated Graph Contrastive Learning (AutoGCL) in this paper. Specifically, AutoGCL employs a set of learnable graph view generators orchestrated by an auto augmentation strategy, where every graph view generator learns a probability distribution of graphs conditioned by the input. While the graph view generators in AutoGCL preserve the most representative structures of the original graph in generation of every contrastive sample, the auto augmentation learns policies to introduce adequate augmentation variances in the whole contrastive learning procedure. Furthermore, AutoGCL adopts a joint training strategy to train the learnable view generators, the graph encoder, and the classifier in an end-to-end manner, resulting in topological heterogeneity yet semantic similarity in the generation of contrastive samples. Extensive experiments on semi-supervised learning, unsupervised learning, and transfer learning demonstrate the superiority of our AutoGCL framework over the state-of-the-arts in graph contrastive learning. In addition, the visualization results further confirm that the learnable view generators can deliver more compact and semantically meaningful contrastive samples compared against the existing view generation methods.

연구 동기 및 목표

• 고정된 사전 정의된 그래프 증강 방식이 의미적 구조를 손상시키고 유연성이 부족한 대비 학습의 한계를 해결하기 위해.
• 입력 그래프에 조건부로 그래프 증강에 대한 확률 분포를 학습하는, 미분 가능하고 종단 간(end-to-end) 훈련 가능한 프레임워크를 개발하기 위해.
• 뷰 생성기, 그래프 인코더, 분류기를 공동으로 훈련시켜 대비 뷰에서 위상적 이질성과 의미적 유사성을 향상시킴으로써 대비 학습 성능을 향상시키기 위해.
• 레이블 의미를 유지하면서도 효과적인 자기지도 사전학습을 위해 충분한 변동성을 도입하는 적응 가능한 증강 정책을 가능하게 하기 위해.

제안 방법

• AutoGCL는 입력 그래프에 조건부로 노드 수준의 증강, 예를 들어 노드 제거 등의 확률 분포를 모델링하는 학습 가능한 그래프 뷰 생성기를 사용한다.
• 이들은 이산적인 증강 연산을 통해 역전파를 가능하게 하기 위해 Gumbel-Softmax 기법을 사용하여 미분 가능성을 확보한다.
• 다양한 의미적으로 일관된 대비 뷰를 생성하기 위해 최적의 정책을 학습하는 자동 증강 전략을 통합한다.
• 대비 손실, 뷰 유사성 손실, 분류 손실을 사용하여 뷰 생성기, 그래프 인코더, 분류기를 동시에 최적화하는 공동 훈련 전략을 사용한다.
• 임의의 또는 고정된 변환에 의존하는 대신, 작업에 특화된 증강 정책을 학습함으로써 그래프 의미를 유지한다.
• 아키텍처는 종단 간 훈련되며, 뷰 생성기가 구조적 및 의미적 충실도를 유지하는 뷰를 적응적으로 생성할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 학습 가능한, 미분 가능한 뷰 생성기는 고정된 수작업으로 만든 증강 방식보다 그래프 대비 학습에서 더 우수한 성능을 낼 수 있는가?
• RQ2 뷰 생성기, 인코더, 분류기를 공동으로 훈련시키는 것이 사전 훈련-세부 조정 파ipeline에 비해 표현 품질을 어떻게 향상시키는가?
• RQ3 학습 가능한 뷰 생성기는 대비 학습을 위해 충분한 위상적 다양성을 도입하면서도 의미 레이블을 어느 정도 유지할 수 있는가?
• RQ4 제안된 프레임워크는 준지도, 무지도, 전이 학습을 포함한 다양한 그래프 학습 작업에 일반화되는가?

주요 결과

• AutoGCL는 Cora, PubMed, COLLAB를 포함한 여러 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성했으며, 준지도 및 무지도 학습 설정 모두에서 기존 방법들을 능가한다.
• NCI1 데이터셋에서 AutoGCL는 노드 제거 비율 0.3일 때 테스트 정확도 75.11 ± 2.24를 기록하여 GraphCL 및 기타 베이스라인을 초월한다.
• t-SNE 시각화 결과 AutoGCL가 고정된 증강 기반 베이스라인에 비해 더 조밀하고 의미적으로 유의미한 클러스터를 생성하는 것으로 확인되었다.
• 학습 곡선과 정확도 비교를 통해 공동 훈련 전략이 단순한 사전 훈련-세부 조정 파이프라인에 비해 과적합을 크게 감소시키고 테스트 정확도를 향상시킴을 보였다.
• MNIST-Superpixel에 대한 시각화 결과 AutoGCL의 뷰 생성기가 표준적인 노드 제거 방식보다 핵심 의미적 노드를 더 잘 유지하며 구조적 통합성을 유지하는 것으로 나타났다.
• 전이 학습에서의 일반화 능력이 뛰어나며, 다양한 후행 작업에서 일관된 성능 향상이 관찰되었다.