[論文レビュー] Contrastive Multi-View Representation Learning on Graphs

Kaveh Hassani, Amir Hosein Khasahmadi|arXiv (Cornell University)|Jun 10, 2020

Advanced Graph Neural Networks参考文献 51被引用数 381

ひとこと要約

この論文は、グラフの2つの構造的ビュー（隣接と拡散）を対比させる自己教師付き手法を用いてノードとグラフの表現を学習し、リニア評価下で8/8のノードおよびグラフ分類ベンチマークで最先端の結果を達成する。

ABSTRACT

We introduce a self-supervised approach for learning node and graph level representations by contrasting structural views of graphs. We show that unlike visual representation learning, increasing the number of views to more than two or contrasting multi-scale encodings do not improve performance, and the best performance is achieved by contrasting encodings from first-order neighbors and a graph diffusion. We achieve new state-of-the-art results in self-supervised learning on 8 out of 8 node and graph classification benchmarks under the linear evaluation protocol. For example, on Cora (node) and Reddit-Binary (graph) classification benchmarks, we achieve 86.8% and 84.5% accuracy, which are 5.5% and 2.4% relative improvements over previous state-of-the-art. When compared to supervised baselines, our approach outperforms them in 4 out of 8 benchmarks. Source code is released at: https://github.com/kavehhassani/mvgrl

研究の動機と目的

• 構造ビュー間で自己教師付き対照学習を用いてラベルなしでグラフ表現を学ぶことを動機づける。
• 隣接と拡散ビューを活用して局所とグローバル構造を捉える2ビューのグラフ対照フレームワークを提案する。
• 2つのビューが複数のビューや他のエンコードより優れていることを示し、性能を最大化する要素を特定する。
• 線形評価とクラスタリングプロトコルの下でノードおよびグラフ分類ベンチマークを評価する。

提案手法

• 各グラフの隣接行列を拡散行列に変換しノードをサブサンプリングして2つの整合的な構造ビューを生成する。
• 各ビューごとに専用のGNNエンコーダを2つ用い、共有の射影ヘッドを続けてノード表現を得る。
• 各ビューのノード埋め込みからグラフ表現を得るためにリードアウト/プーリング関数を適用する。
• 片方のビューのノード表現ともう一方のビューのグラフ表現を対比させ、相互情報を最大化する識別子を用いてトレーニングする。
• 深層InfoMaxフレームワークにおいて、選択されたMI推定量（NCE, JSD, NT-Xent, または DV）を用いてMIを最大化する。
• 推論時に両方のビューからのノードとグラフの埋め込みを組み合わせて表現を推定する。

実験結果

リサーチクエスチョン

• RQ1 グラフに対する自己教師付き学習は、複数ビューやマルチスケールエンコードよりも、隣接と拡散という2つの構造ビュー間の対比によって恩恵を受け得るか？
• RQ2 MI推定量、対照モード、ビュー選択などのどの要素がノードおよびグラフ分類性能に最も影響するか？
• RQ3 DiffPoolのようなプーリング手法と比較して、グラフ表現には単純なリードアウト層で足りるか？
• RQ4 2ビュー対照表現は標準的なノードおよびグラフ分類ベンチマークで監督ありのベースラインとどう比較されるか？

主な発見

• 本手法は線形評価下で8/8のノードおよびグラフ分類ベンチマークで最先端の結果を達成する。
• Coraノード分類で86.8%の精度を達成し、以前のSOTAに比べ相対5.5%の改善。
• Reddit-Binaryグラフ分類で84.5%の精度を達成し、以前のSOTAに比べ相対2.4%の改善。
• 教師ありベースラインと比較して、CoraとIMDB-Binaryでそれぞれ約4.5%および5.3%相対的に上回る。
• 最良の性能は、一階隣接とグラフ拡散からのエンコディングを対比させたときで、2ビューの方が2つを超えるビューや他のエンコードより優れている。
• 単純なグラフリードアウト層はDiffPoolのような階層的プーリングより良い結果をもたらし、追加の正則化や正規化は性能を傷つける可能性がある。