[論文レビュー] Graph-MVP: Multi-View Prototypical Contrastive Learning for Multiplex Graphs

Baoyu Jing, Yuejia Xiang+3 more|arXiv (Cornell University)|Sep 8, 2021

Advanced Graph Neural Networks参考文献 63被引用数 10

ひとこと要約

本稿では、多重グラフにおける意味的誤りを是正し、複数の関係的ビューを活用する、マルチビュー型プロトタイプ対照学習フレームワーク「Graph-MVP」を提案する。ハードおよびソフトクラスタリング戦略によるビュー整合性を活用することで、グラフプロトタイプ対照学習と組み合わせることで、ノード表現学習を向上させ、実世界のデータセットにおいて下流タスクで最先端の性能を達成する。

ABSTRACT

Contrastive Learning (CL) is one of the most popular self-supervised learning frameworks for graph representation learning, which trains a Graph Neural Network (GNN) by discriminating positive and negative node pairs. However, there are two challenges for CL on graphs. On the one hand, traditional CL methods will unavoidably introduce semantic errors since they will treat some semantically similar nodes as negative pairs. On the other hand, most of the existing CL methods ignore the multiplexity nature of the real-world graphs, where nodes are connected by various relations and each relation represents a view of the graph. To address these challenges, we propose a novel Graph Multi-View Prototypical (Graph-MVP) framework to extract node embeddings on multiplex graphs. Firstly, we introduce a Graph Prototypical Contrastive Learning (Graph-PCL) framework to capture both node-level and semantic-level information for each view of multiplex graphs. Graph-PCL captures the node-level information by a simple yet effective data transformation technique. It captures the semantic-level information by an Expectation-Maximization (EM) algorithm, which alternatively performs clustering over node embeddings and parameter updating for GNN. Next, we introduce Graph-MVP based on Graph-PCL to jointly model different views of the multiplex graphs. Our key insight behind Graph-MVP is that different view-specific embeddings of the same node should have similar underlying semantic, based on which we propose two versions of Graph-MVP: Graph-MVP_hard and Graph-MVP_soft to align embeddings across views. Finally, we evaluate the proposed Graph-PCL and Graph-MVP on a variety of real-world datasets and downstream tasks. The experimental results demonstrate the effectiveness of the proposed Graph-PCL and Graph-MVP frameworks.

研究の動機と目的

• 意味的に類似したノードが誤って負例ペアとして扱われる対照学習における意味的誤りを是正すること。
• ノードが複数の関係で接続される現実世界のグラフの多重構造を活用し、各関係を別々のビューとしてモデル化すること。
• プロトタイプクラスタリングとビュー間整合性を統合して複数のビューを同時にモデル化することで、ノード表現学習を向上させること。
• ノードレベルおよび意味的レベルの情報を、自己教師ありの方法で統合的に捉えるフレームワークの構築こと。

提案手法

• データ拡張を用いたノードレベルの対照と、期待値最大化（EM）アルゴリズムを用いて意味的レベルの構造を捉える、プロトタイプ対照学習フレームワーク「Graph-PCL」を導入する。
• ノード埋め込みのクラスタリングとGNNパラメータの更新を交互に繰り返すEMベースのクラスタリング手順を採用し、意味的表現を精緻化する。
• 多重グラフにおける同じノードの異なる関係的ビューを同時にモデル化するためのマルチビュー学習戦略をGraph-MVPで採用する。
• 共有された意味的コンテンツに基づいて、ビュー固有の埋め込みを統合するハードおよびソフトクラスタリングを用いた2つの変種—Graph-MVP_hard および Graph-MVP_soft—を提案する。
• インスタンスレベルおよびプロトタイプレベルの対照学習を用いることで、ノード表現における局所的およびグローバルな構造認識を強化する。
• 一貫したクラスタリング割り当てを促進し、ビュー固有の表現間の乖離を最小限に抑えることで、ビュー間の埋め込みを統合する。

実験結果

リサーチクエスチョン

• RQ1 プロトタイプ対照学習は、EMベースのクラスタリングとプロトタイプ学習により、ノードの潜在的意味を捉えることで、グラフ対照学習における意味的誤りを低減できるか？
• RQ2 多重グラフにおける複数の関係的ビューは、どのように効果的に活用され、ノード表現学習を向上させることができるか？
• RQ3 ビュー間の統合が、マルチリレーショングラフにおける学習済みノード埋め込みの品質に与える影響は何か？
• RQ4 ハードクラスタリングとソフトクラスタリングの戦略は、マルチビュー型グラフ表現学習の性能にどのように影響を与えるか？

主な発見

• Graph-MVPは、多様な実世界の多重グラフデータセットにおいて、複数の下流タスク（ノード分類およびクラスタリング）で最先端の性能を達成する。
• Graph-PCLは、EMベースのクラスタリングとプロトタイプ学習により、意味的誤りを低減することで表現品質を著しく向上させる。
• Graph-MVP_hardおよびGraph-MVP_softの両方とも、ベースラインの対照学習手法を上回る性能を示すが、複雑な関係的構造を有するデータセットではソフト統合バージョンがより優れた性能を示す。
• アブレーションスタディの結果、ビュー単位の対照学習とビュー間統合の両方が最適な性能を発揮するために不可欠であることが確認された。