[논문 리뷰] Neighbor Contrastive Learning on Learnable Graph Augmentation

Xiao Shen, Dewang Sun외 3명|arXiv (Cornell University)|2023. 01. 04.

Advanced Graph Neural Networks인용 수 9

한 줄 요약

본 논문은 이웃 기반 대비 학습을 통해 그래프 증강과 임베딩을 함께 학습하는 엔드투엔드 방법인 NCLA를 제안하며, 앵커당 다중 양수와 적응형 토폴로지를 가능하게 한다.

ABSTRACT

Recent years, graph contrastive learning (GCL), which aims to learn representations from unlabeled graphs, has made great progress. However, the existing GCL methods mostly adopt human-designed graph augmentations, which are sensitive to various graph datasets. In addition, the contrastive losses originally developed in computer vision have been directly applied to graph data, where the neighboring nodes are regarded as negatives and consequently pushed far apart from the anchor. However, this is contradictory with the homophily assumption of networks that connected nodes often belong to the same class and should be close to each other. In this work, we propose an end-to-end automatic GCL method, named NCLA to apply neighbor contrastive learning on learnable graph augmentation. Several graph augmented views with adaptive topology are automatically learned by the multi-head graph attention mechanism, which can be compatible with various graph datasets without prior domain knowledge. In addition, a neighbor contrastive loss is devised to allow multiple positives per anchor by taking network topology as the supervised signals. Both augmentations and embeddings are learned end-to-end in the proposed NCLA. Extensive experiments on the benchmark datasets demonstrate that NCLA yields the state-of-the-art node classification performance on self-supervised GCL and even exceeds the supervised ones, when the labels are extremely limited. Our code is released at https://github.com/shenxiaocam/NCLA.

연구 동기 및 목표

• 데이터셋 전반에 걸친 고정적이고 인간이 설계한 증강에 대한 그래프 대비 학습의 민감도를 해결한다.
• 증강과 표현을 함께 학습하는 완전히 자동화된 GCL 프레임워크를 개발한다.
• 네트워크 동형성에 맞추기 위해 이웃 기반 양수를 활용하고 라벨이 제한된 하위 작업의 성능을 향상시킨다.

제안 방법

• 적응형 토폴로지를 학습하는 증강 뷰를 얻기 위해 다중 헤드 그래프 어텐션 메커니즘을 통해 학습 가능한 그래프 증강을 도입한다.
• 네트워크 토폴로지를 지도 신호로 활용하고 앵커당 다수의 양수를 허용하는 이웃 대비 손실을 정의한다.
• NCLA 프레임워크 내에서 증강과 임베딩을 엔드 투 엔드로 학습한다.
• 사전 도메인 지식 없이도 다양한 그래프 데이터세트와의 호환성을 입증한다.

실험 결과

연구 질문

• RQ1 그래프 어텐션을 통한 학습 가능한 증강이 데이터세트 전반에 걸친 GCL용 효과적인 증강 뷰를 생성할 수 있는가?
• RQ2 다수의 양수를 가지는 이웃 기반 대비 학습이 고정 증강 GCL 방법보다 더 나은가?
• RQ3 NCLA가 자기지도 설정에서 최첨단 노드 분류를 달성하고 라벨이 부족할 때 감독 방법을 능가할 수 있는가?

주요 결과

• NCLA는 벤치마크 데이터세트에서 자기지도 GCL의 최첨단 노드 분류 성능을 달성한다.
• 라벨 사용 가능성이 극히 제한될 때 감독 학습 베이스라인을 넘을 수 있다.
• 이 방법은 도메인 특정 증강 지식 없이도 다양한 그래프 데이터세트에 대해 강건함을 보여준다.