[논문 리뷰] GraphCL: Contrastive Self-Supervised Learning of Graph Representations

Hakim Hafidi, Mounir Ghogho외 2명|arXiv (Cornell University)|2020. 07. 15.

Advanced Graph Neural Networks참고 문헌 41인용 수 26

한 줄 요약

GraphCL은 각 노드의 국소 하위그래프에 대한 두 개의 무작위로 변형된 뷰 간의 유사도를 최대화함으로써 노드 표현을 학습하는 대비적 자기지도 학습 프레임워크를 제안한다. 그래프 신경망과 대비 손실을 활용하여, 인용, 사회적 및 생물학적 네트워크에서 추론 및 비추론 설정 모두에서 비지도 노드 분류 작업에서 최신 기술 수준의 성능을 달성한다. 이는 강건성과 효율성을 입증한다.

ABSTRACT

We propose Graph Contrastive Learning (GraphCL), a general framework for learning node representations in a self supervised manner. GraphCL learns node embeddings by maximizing the similarity between the representations of two randomly perturbed versions of the intrinsic features and link structure of the same node's local subgraph. We use graph neural networks to produce two representations of the same node and leverage a contrastive learning loss to maximize agreement between them. In both transductive and inductive learning setups, we demonstrate that our approach significantly outperforms the state-of-the-art in unsupervised learning on a number of node classification benchmarks.

연구 동기 및 목표

• 라벨이 없는 데이터가 필요 없이 일반적인 자기지도 학습 프레임워크를 개발하는 것.
• 기존 비지도 방법들이 동질성 또는 전역 그래프 표현에 의존하는 한계를 해결하여, 위상적 구조를 간과할 수 있는 문제를 해결하는 것.
• 노드 특성과 그래프 구조의 무작위 변형에 대해 불변인 표현을 학습하여 강건성과 일반화 능력을 향상시키는 것.
• 통합된 대비 학습 접근 방식을 사용하여 추론 및 비추론 학습 설정 모두에서 뛰어난 성능을 달성하는 것.
• 비용이 많이 들거나 광범위한 인간의 감독이 필요한 방법들에 대한 효율적이고 확장 가능한 대안을 제공하는 것.

제안 방법

• 각 노드에 대해 사용자가 정의한 확률로 간선과 노드 특성을 무작위로 제거하여 L-호프 국소 하위그래프의 두 개의 증강된 뷰를 구성한다.
• 그래프 신경망 인코더가 두 증강된 뷰를 처리하여 동일한 노드의 두 표현을 생성한다.
• 두 표현 간의 유사도를 최대화하고 다른 노드들로부터의 음성 샘플과 대비하는 대비 손실을 적용한다.
• 학습 안정성과 표현 품질 향상을 위해 모멘터리티 업데이트된 인코더를 MoCo 스타일 프레임워크와 함께 사용한다.
• 메모리와 계산 비용을 관리하기 위해 하위그래프 샘플링 전략을 사용함으로써 추론 및 비추론 학습 모두를 지원한다.
• GNN 아키텍처 선택에 관계없이 작동하도록 설계되어 다양한 메시지 전달 모델과 호환 가능하다.

실험 결과

연구 질문

• RQ1 국소 하위그래프의 변형에 기반한 대비 학습 프레임워크가 기존 비지도 그래프 표현 학습 방법보다 우수한 성능을 낼 수 있는가?
• RQ2 GraphCL은 추론 및 비추론 노드 분류 벤치마크에서 어떻게 성능을 발휘하는가?
• RQ3 특성과 구조의 무작위 변형이 노드 표현 학습에서 강건성과 일반화 능력을 얼마나 향상시키는가?
• RQ4 라벨이 없는 데이터가 필요 없이 GraphCL이 지도 학습 기반 모델과 경쟁 가능한 성능을 달성할 수 있는가?
• RQ5 이 방법은 대규모 그래프로 어떻게 확장되며, 메모리 효율성과 계산 비용 간의 상호 교환 관계는 어떠한가?

주요 결과

• GraphCL은 인용, 사회적 및 생물학적 네트워크 벤치마크에서 비지도 노드 분류 작업에서 최신 기술 수준의 성능을 달성한다.
• 추론 및 비추론 학습 설정 모두에서 DGI, VGAE 및 node2vec과 같은 기존 자기지도 접근 방식보다 뚜렷이 뛰어난 성능을 보인다.
• 학습된 표현이 무작위 간선 및 특성 드롭아웃에 대해 불변이므로, GraphCL은 강건성이 뛰어나다.
• 노드 수에 비례하는 선형 계산 복잡도를 가지므로 대규모 그래프로의 확장성이 뛰어나며, 비추론 설정에서의 하위샘플링과 조합될 경우 더욱 효과적이다.
• 대비 손실은 두 뷰 간 상호정보의 하한을 제공하여 표현 정렬의 이론적 기반을 뒷받침한다.
• 전역 그래프 인코딩이 없이도 효과적이며, 대규모 그래프 표현 학습의 계산 비용 문제를 피할 수 있다.