[논문 리뷰] Graph-MVP: Multi-View Prototypical Contrastive Learning for Multiplex Graphs

Baoyu Jing, Yuejia Xiang외 3명|arXiv (Cornell University)|2021. 09. 08.

Advanced Graph Neural Networks참고 문헌 63인용 수 10

한 줄 요약

이 논문은 다중층 그래프를 위한 다중 시각 프로토타입 대비 학습 프레임워크인 Graph-MVP를 제안한다. 이는 대비 학습에서 발생하는 의미 오류를 해결하고 다수의 관계적 시각을 활용한다. 그래프 프로토타입 대비 학습과 하드 및 소프트 클러스터링 전략을 통한 시각 정렬을 결합함으로써, 노드 표현 학습을 향상시켜 실제 데이터셋에서 하류 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Contrastive Learning (CL) is one of the most popular self-supervised learning frameworks for graph representation learning, which trains a Graph Neural Network (GNN) by discriminating positive and negative node pairs. However, there are two challenges for CL on graphs. On the one hand, traditional CL methods will unavoidably introduce semantic errors since they will treat some semantically similar nodes as negative pairs. On the other hand, most of the existing CL methods ignore the multiplexity nature of the real-world graphs, where nodes are connected by various relations and each relation represents a view of the graph. To address these challenges, we propose a novel Graph Multi-View Prototypical (Graph-MVP) framework to extract node embeddings on multiplex graphs. Firstly, we introduce a Graph Prototypical Contrastive Learning (Graph-PCL) framework to capture both node-level and semantic-level information for each view of multiplex graphs. Graph-PCL captures the node-level information by a simple yet effective data transformation technique. It captures the semantic-level information by an Expectation-Maximization (EM) algorithm, which alternatively performs clustering over node embeddings and parameter updating for GNN. Next, we introduce Graph-MVP based on Graph-PCL to jointly model different views of the multiplex graphs. Our key insight behind Graph-MVP is that different view-specific embeddings of the same node should have similar underlying semantic, based on which we propose two versions of Graph-MVP: Graph-MVP_hard and Graph-MVP_soft to align embeddings across views. Finally, we evaluate the proposed Graph-PCL and Graph-MVP on a variety of real-world datasets and downstream tasks. The experimental results demonstrate the effectiveness of the proposed Graph-PCL and Graph-MVP frameworks.

연구 동기 및 목표

• 의미적으로 유사한 노드가 잘못된 음성 쌍으로 간주되는 대비 학습에서의 의미 오류를 해결하기 위해.
• 노드가 다수의 관계로 연결되어 있는 실제 그래프의 다중층 구조를 활용하기 위해 각 관계를 별개의 시각으로 모델링함으로써.
• 프로토타입 클러스터링과 시각 간 정렬을 통합하여 다중 시각을 함께 모델링함으로써 노드 표현 학습을 향상시키기 위해.
• 노드 수준과 의미 수준의 정보를 자율적으로 통합하여 다중 시각에서 포괄적인 정보를 캡처하는 통합 프레임워크를 개발하기 위해.

제안 방법

• 노드 수준의 대비를 위해 데이터 증강을 사용하고 의미 수준의 구조를 포착하기 위해 기대값 최대화(EM) 알고리즘을 사용하는 프로토타입 대비 학습 프레임워크인 Graph-PCL을 도입한다.
• 노드 임베딩의 클러스터링과 GNN 파라미터 갱신을 번갈아가며 수행하는 EM 기반 클러스터링 절차를 활용하여 의미 표현을 정교화한다.
• 동일한 다중층 그래프의 다양한 관계적 시각을 함께 모델링하기 위해 Graph-MVP에서 다중 시각 학습 전략을 적용한다.
• 공유된 의미적 내용을 바탕으로 시각별 임베딩을 정렬하기 위해 하드 클러스터링과 소프트 클러스터링을 사용하는 두 가지 변종—Graph-MVP_hard 및 Graph-MVP_soft—을 제안한다.
• 로컬 및 글로벌 구조 인식 능력을 향상시키기 위해 인스턴스 수준과 프로토타입 수준의 대비 학습을 사용한다.
• 일致한 클러스터링 할당을 장려하고 시각 간 표현 간의 발산을 최소화함으로써 시각 간 임베딩을 정렬한다.

실험 결과

연구 질문

• RQ1 프로토타입 대비 학습이 기반 노드 의미를 포착함으로써 그래프 대비 학습에서 의미 오류를 줄일 수 있는가?
• RQ2 다중층 그래프의 다수의 관계적 시각은 어떻게 효과적으로 활용하여 노드 표현 학습을 향상시킬 수 있는가?
• RQ3 시각 간 정렬은 다중 관계 그래프에서 학습된 노드 임베딩의 품질에 어떤 영향을 미치는가?
• RQ4 하드 클러스터링과 소프트 클러스터링 전략은 다중 시각 그래프 표현 학습의 성능에 어떤 영향을 미치는가?

주요 결과

• Graph-MVP는 다양한 실제 다중층 그래프 데이터셋에서 여러 하류 작업인 노드 분류 및 클러스터링에서 최신 기술 수준의 성능을 달성한다.
• Graph-PCL 구성 요소는 EM 기반 클러스터링과 프로토타입 학습을 통해 의미 오류를 줄임으로써 표현 품질을 크게 향상시킨다.
• Graph-MVP_hard와 Graph-MVP_soft 모두 기준 대비 학습 방법을 능가하며, 특히 복잡한 관계 구조를 가진 데이터셋에서는 소프트 정렬 변종이 더 뛰어난 성능을 보였다.
• 절단 실험을 통해 시각 수준의 대비 학습과 시각 간 정렬이 최적 성능을 내기 위해 필수적임을 확인했다.