[論文レビュー] Motif-Driven Contrastive Learning of Graph Representations

Shichang Zhang, Ziniu Hu+2 more|arXiv (Cornell University)|Dec 23, 2020

Advanced Graph Neural Networks参考文献 36被引用数 15

ひとこと要約

本稿では、GNN埋め込みを用いた部分グラフクラスタリングによる微分可能モチーフ学習を活用し、グラフレベルの対照的事前学習のための意味的に意味のある部分グラフを生成する、モチーフ駆動型の対照的学習フレームワークであるMICRO-Graphを提案する。学習されたモチーフによって部分グラフのサンプリングをガイドすることで、最先端の自己教師付きベースラインと比較して、下流の分子性質予測タスクで平均ROC-AUCが2.04%向上する。

ABSTRACT

Pre-training Graph Neural Networks (GNN) via self-supervised contrastive learning has recently drawn lots of attention. However, most existing works focus on node-level contrastive learning, which cannot capture global graph structure. The key challenge to conducting subgraph-level contrastive learning is to sample informative subgraphs that are semantically meaningful. To solve it, we propose to learn graph motifs, which are frequently-occurring subgraph patterns (e.g. functional groups of molecules), for better subgraph sampling. Our framework MotIf-driven Contrastive leaRning Of Graph representations (MICRO-Graph) can: 1) use GNNs to extract motifs from large graph datasets; 2) leverage learned motifs to sample informative subgraphs for contrastive learning of GNN. We formulate motif learning as a differentiable clustering problem, and adopt EM-clustering to group similar and significant subgraphs into several motifs. Guided by these learned motifs, a sampler is trained to generate more informative subgraphs, and these subgraphs are used to train GNNs through graph-to-subgraph contrastive learning. By pre-training on the ogbg-molhiv dataset with MICRO-Graph, the pre-trained GNN achieves 2.04% ROC-AUC average performance enhancement on various downstream benchmark datasets, which is significantly higher than other state-of-the-art self-supervised learning baselines.

研究の動機と目的

• グラフニューラルネットワークにおける部分グラフレベルの対照的学習のための意味的に意味のある部分グラフを生成する課題に取り組むこと。
• ノードレベルの対照的学習ではグローバルなグラフ構造を捉えられないという限界を克服すること。
• 連続的で高次元のノード特徴量を持つ大規模グラフから微分可能モチーフ学習を可能にすること。
• モチーフガイドドの部分グラフサンプリングとグラフから部分グラフへの対照的学習を統合することで、GNNの事前学習を向上させること。
• モチーフ駆動型の部分グラフ生成が、分子グラフベンチマークにおいて優れた下流性能をもたらすことを実証すること。

提案手法

• 類似した部分グラフ埋め込みを代表的なモチーフにグループ化するため、EMアルゴリズムを用いてモチーフ学習を微分可能クラスタリング問題として定式化する。
• 部分グラフはGNNエンコーダを介してサンプリングされ、連続的埋め込みを用いてモチーフにクラスタリングされ、エンドツーエンドの学習が可能になる。
• 学習されたモチーフと構造的・意味的に整合性を持つ部分グラフを生成するように、モチーフガイドドのサンプラーを訓練する。
• 同じグラフ内だが異なるモチーフに類似した部分グラフからの文脈化されたノード埋め込みを比較することで、グラフから部分グラフへの対照的学習を実行する。
• サンプルされた部分グラフが連結であり、構造的に一貫性を持つように、スペクトル正則化を適用する。
• このフレームワークはGNNアーキテクチャに依存せず、GCN、GIN、DeeperGCNなど複数のアーキテクチャをサポートする。

実験結果

リサーチクエスチョン

• RQ1 微分可能モチーフ学習は、グラフ表現学習のための部分グラフサンプリングを改善できるか？
• RQ2 モチーフガイドドの部分グラフ生成は、ランダムまたは局所的サンプリングと比較して、対照的事前学習でより優れた性能をもたらすか？
• RQ3 学習されたモチーフの数は、分子性質予測における下流性能にどのように影響するか？
• RQ4 モチーフ駆動型の対照的学習は、多様なGNNアーキテクチャに一般化可能か？
• RQ5 文脈化されたノード埋め込みは、部分グラフレベルの対照的学習をどの程度向上させるか？

主な発見

• MICRO-Graphは、非事前学習GNNと比較して、7つの下流分子性質予測ベンチマークで平均ROC-AUCが2.04%向上する。
• モチーフガイドドのサンプリングをランダムウォークやkホップサンプリングに置き換えると、それぞれ5.64%および4.99%の性能低下が生じ、意味的な部分グラフ生成の重要性が示される。
• スペクトル正則化を除去すると1.82%の性能低下が生じ、これは部分グラフの連結性と一般化性を維持する上でその役割が重要であることを示している。
• モチーフに類似した部分グラフ同士の対照的学習は、グラフから部分グラフへの学習に比べて性能が劣る。これは、異なるグラフ間で構造的類似性から生じる偽陰性ペアの影響による可能性が大きい。
• このフレームワークは、GCN、GIN、DeeperGCNのすべてのアーキテクチャで一貫して性能を向上させ、特に表現力に優れるDeeperGCNで最大の向上幅を示す。
• 可視化結果から、学習されたモチーフがベンゼン環やアセテートなど、化学的に意味のある機能群に対応していることが確認され、学習されたパターンの意味的関連性が裏付けられる。