[論文レビュー] GraphCL: Contrastive Self-Supervised Learning of Graph Representations

Hakim Hafidi, Mounir Ghogho+2 more|arXiv (Cornell University)|Jul 15, 2020

Advanced Graph Neural Networks参考文献 41被引用数 26

ひとこと要約

GraphCL は、各ノードの局所部分グラフのランダムに摂動を加えた2つのビュー間の類似度を最大化することで、ノード表現を学習する対照的自己教師ありフレームワークを提案する。グラフニューラルネットワークと対照的損失を活用することで、引用ネットワーク、ソーシャルネットワーク、生物学的ネットワークにおいて、誘導的および帰納的設定の両方で、自己教師ありノード分類において最先端の性能を達成し、頑健性と効率性を示している。

ABSTRACT

We propose Graph Contrastive Learning (GraphCL), a general framework for learning node representations in a self supervised manner. GraphCL learns node embeddings by maximizing the similarity between the representations of two randomly perturbed versions of the intrinsic features and link structure of the same node's local subgraph. We use graph neural networks to produce two representations of the same node and leverage a contrastive learning loss to maximize agreement between them. In both transductive and inductive learning setups, we demonstrate that our approach significantly outperforms the state-of-the-art in unsupervised learning on a number of node classification benchmarks.

研究の動機と目的

• ラベルなしデータを必要としない一般化された自己教師ありフレームワークを、ノード表現を学習することを目的とする。
• 同型性やグローバルなグラフ表現に依存する既存の自己教師あり手法の限界を克服し、トポロジカル構造を無視する可能性を排除することを目的とする。
• ノード特徴量およびグラフ構造のランダムな摂動に対して不変な表現を学習することで、頑健性と一般化性能を向上させることを目的とする。
• 統一された対照的学習アプローチを用いて、誘導的および帰納的学習設定の両方で優れた性能を達成することを目的とする。
• グローバルなグラフ符号化に高コストがかかるか、人的監視を多数必要とする手法に対する、効率的でスケーラブルな代替手法を提供することを目的とする。

提案手法

• 各ノードに対して、ユーザーが定めた確率に従ってエッジおよびノード特徴量をランダムにドロップすることで、Lホップの局所部分グラフの2つの拡張ビューを構築する。
• グラフニューラルネットワークエンコーダーが、2つの拡張ビューを処理し、同じノードの2つの表現を生成する。
• 2つの表現間の類似度を最大化するとともに、他のノードからのネガティブサンプルとを対照的にするため、対照的損失を適用する。
• 訓練の安定化と表現品質の向上を図るため、モーメンタム更新付きエンコーダーをモーメンタム・コンテナ（MoCo）スタイルのフレームワークで使用する。
• メモリと計算コストを管理するための部分グラフサンプリング戦略を用いることで、誘導的および帰納的学習を両立できる。
• GNNアーキテクチャの選択に依存しないように設計されており、さまざまなメッセージパッシングモデルと互換性を持つ。

実験結果

リサーチクエスチョン

• RQ1 局所部分グラフの摂動に基づく対照的学習フレームワークは、既存の自己教師ありグラフ表現学習手法を上回ることができるか？
• RQ2 GraphCL は、誘導的および帰納的ノード分類ベンチマークの両方で、どのように性能を発揮するか？
• RQ3 特徴量および構造のランダムな摂動は、ノード表現学習における頑健性と一般化性能をどの程度向上させるか？
• RQ4 GraphCL は、ラベル付きデータを必要とせずに、教師ありベースラインと同等の性能を達成できるか？
• RQ5 大規模グラフへのスケーリングはどの程度可能か？また、メモリ効率と計算コストのトレードオフはどのようなものか？

主な発見

• GraphCL は、複数の引用ネットワーク、ソーシャルネットワーク、生物学的ネットワークベンチマークにおいて、自己教師ありノード分類で最先端の性能を達成している。
• 誘導的および帰納的学習設定の両方で、DGI、VGAE、node2vec などの既存の自己教師ありアプローチを顕著に上回っている。
• 学習された表現がランダムなエッジドロップおよび特徴量ドロップに対して不変であるため、GraphCL は摂動に対して強い頑健性を示している。
• 計算複雑度はノード数に線形に依存するため、大規模グラフに対してもスケーラブルであり、特に帰納的設定での部分サンプリングと組み合わせると顕著である。
• 対照的損失は、2つのビュー間の相互情報量の下界を提供しており、表現の整合性の理論的基盤を支持している。
• グローバルなグラフ符号化がなくても効果的であるため、大規模グラフ表現学習における計算の非現実性を回避できる。