[논문 리뷰] Contrastive Multi-View Representation Learning on Graphs

Kaveh Hassani, Amir Hosein Khasahmadi|arXiv (Cornell University)|2020. 06. 10.

Advanced Graph Neural Networks참고 문헌 51인용 수 381

한 줄 요약

이 논문은 그래프의 두 가지 구조적 뷰(인접성 및 확산)를 대조하여 노드 및 그래프 표현을 학습하는 자기지도 방법을 제시하며, 선형 평가에서 8/8 노드 및 그래프 분류 벤치마크에서 최첨단(SOTA) 결과를 달성합니다.

ABSTRACT

We introduce a self-supervised approach for learning node and graph level representations by contrasting structural views of graphs. We show that unlike visual representation learning, increasing the number of views to more than two or contrasting multi-scale encodings do not improve performance, and the best performance is achieved by contrasting encodings from first-order neighbors and a graph diffusion. We achieve new state-of-the-art results in self-supervised learning on 8 out of 8 node and graph classification benchmarks under the linear evaluation protocol. For example, on Cora (node) and Reddit-Binary (graph) classification benchmarks, we achieve 86.8% and 84.5% accuracy, which are 5.5% and 2.4% relative improvements over previous state-of-the-art. When compared to supervised baselines, our approach outperforms them in 4 out of 8 benchmarks. Source code is released at: https://github.com/kavehhassani/mvgrl

연구 동기 및 목표

• 구조적 뷰 전반에 걸친 자기지도 대조 학습을 사용하여 라벨 없이 그래프 표현 학습을 동기 부여한다.
• 인접성(view)과 확산(view)을 활용하여 지역적 및 전역 구조를 포착하는 두-뷰 그래프 대조 프레임워크를 제안한다.
• 두 뷰가 다중 뷰 및 다른 인코딩보다 우수하다는 것을 입증하고 성능을 극대화하는 구성 요소를 식별한다.
• 선형 평가 및 군집 프로토콜 하에서 노드 및 그래프 분류 벤치마크를 평가한다.

제안 방법

• 인접 행렬을 확산 행렬로 변환하고 노드를 부분 샘플링하여 각 그래프의 두 개의 합동 구조 뷰를 생성한다.
• 두 개의 전용 GNN 인코더를 사용하고(각 뷰당 하나), 공유 투영 헤드를 따라 노드 표현을 얻는다.
• 각 뷰에 대해 노드 임베딩에서 그래프 표현을 얻기 위해 읽어오기/풀링 함수를 적용한다.
• 한 뷰의 노드 표현과 다른 뷰의 그래프 표현을 대조하는 판별기로 학습하고, 역방향도 마찬가지로 교차 뷰 쌍 간의 상호 정보(MI)를 최대화한다.
• 깊은 InfoMax 프레임워크에서 선택한 MI 추정기(NCE, JSD, NT-Xent, 또는 DV)로 MI를 최대화한다.
• 추론 시 두 뷆의 노드 및 그래프 임베딩을 결합하여 표현을 추론한다.

실험 결과

연구 질문

• RQ1 그래프에서 자기지도 학습이 다중 뷰 또는 다중 스케일 인코딩 대신 두 가지 구조 뷰(인접성 대 확산)를 대상으로 대조하는 것에서 이익을 얻을 수 있는가?
• RQ2 어떤 구성요소(MI 추정기, 대조 모드, 뷰 선택)가 노드 및 그래프 분류 성능에 가장 큰 영향을 미치는가?
• RQ3 간단한 읽어오기 계층이 DiffPool과 같은 풀링 방법과 비교했을 때 그래프 표현에 충분한가?
• RQ4 표준 노드 및 그래프 분류 벤치마크에서 두-뷰 대조 표현이 감독 학습 기준선과 어떻게 비교되는가?

주요 결과

• 이 방법은 선형 평가 하에서 8/8 노드 및 그래프 분류 벤치마크에서 최첨단(SOTA) 결과를 달성한다.
• Cora 노드 분류에서 이 방법은 86.8% 정확도에 도달하며, 이전 SOTA 대비 상대적으로 5.5% 향상이다.
• Reddit-Binary 그래프 분류에서 84.5% 정확도에 도달하여 이전 SOTA 대비 상대적으로 2.4% 향상이다.
• 감독 학습 기준선과 비교하여 일부 벤치마크에서 우수한 성과를 보이며(예: Cora 및 IMDB-Binary에서 각각 상대적으로 약 4.5% 및 5.3% 향상).
• 최고 성능은 1차 이웃의 인코딩과 그래프 확산을 대조함으로써 달성되며, 두 뷀가 두 개 이상 뷀나 다른 인코딩보다 우수하다.
• 간단한 그래프 읽기 계층이 DiffPool과 같은 계층적 풀링 방법보다 더 나은 성능을 보이며, 추가 정규화 또는 정규화가 성능을 해칠 수 있다.