[論文レビュー] AutoGCL: Automated Graph Contrastive Learning via Learnable View Generators

Yihang Yin, Qingzhong Wang+3 more|arXiv (Cornell University)|Sep 21, 2021

Advanced Graph Neural Networks被引用数 9

ひとこと要約

AutoGCLは、グラフエンコーダーと分類器と jointly に訓練される微分可能で適応的なビュー生成器を用いて、グラフ表現学習における対照学習を自動化する学習可能なグラフビュー生成フレームワークを提案する。文脈的構造を保持しながらトポロジーのばらつきを導入することで、複数のグラフデータセットにおける半教師あり、教師なし、転移学習のベンチマークで最先端の性能を達成している。

ABSTRACT

Contrastive learning has been widely applied to graph representation learning, where the view generators play a vital role in generating effective contrastive samples. Most of the existing contrastive learning methods employ pre-defined view generation methods, e.g., node drop or edge perturbation, which usually cannot adapt to input data or preserve the original semantic structures well. To address this issue, we propose a novel framework named Automated Graph Contrastive Learning (AutoGCL) in this paper. Specifically, AutoGCL employs a set of learnable graph view generators orchestrated by an auto augmentation strategy, where every graph view generator learns a probability distribution of graphs conditioned by the input. While the graph view generators in AutoGCL preserve the most representative structures of the original graph in generation of every contrastive sample, the auto augmentation learns policies to introduce adequate augmentation variances in the whole contrastive learning procedure. Furthermore, AutoGCL adopts a joint training strategy to train the learnable view generators, the graph encoder, and the classifier in an end-to-end manner, resulting in topological heterogeneity yet semantic similarity in the generation of contrastive samples. Extensive experiments on semi-supervised learning, unsupervised learning, and transfer learning demonstrate the superiority of our AutoGCL framework over the state-of-the-arts in graph contrastive learning. In addition, the visualization results further confirm that the learnable view generators can deliver more compact and semantically meaningful contrastive samples compared against the existing view generation methods.

研究の動機と目的

• 対照学習における固定で事前に定義されたグラフ増幅の限界、すなわち文脈的構造を破壊し、柔軟性に欠ける問題に対処すること。
• 入力グラフに条件付けられたグラフ増幅の確率分布を学習する微分可能でエンドツーエンドで訓練可能なフレームワークを開発すること。
• ビュー生成器、グラフエンコーダー、分類器を同時に訓練することで、対照的ビューにおけるトポロジーの多様性と文脈的類似性を向上させ、対照学習の性能を向上させること。
• ラベルの意味的構造を保持しながら、効果的な自己教師あり事前学習に十分なばらつきを導入する適応的増幅方針を可能にすること。

提案手法

• AutoGCLは、ノードドロップなどノードレベルの増幅に確率分布をモデル化する学習可能なグラフビュー生成器を採用し、入力グラフに条件付けている。
• 離散的増幅操作を経由する逆誤差伝搬を可能にするために、Gumbel-Softmaxトリックを用いて微分可能性を確保している。
• 最適なポリシーを学習して多様でありながら文脈的に一貫性のある対照的ビューを生成する自動増幅戦略を統合している。
• 対照損失、ビュー類似度損失、分類損失を用いて、ビュー生成器、グラフエンコーダー、分類器を同時に最適化する連携学習戦略を採用している。
• ランダムまたは固定された変換に依存するのではなく、タスク固有の増幅ポリシーを学習することで、グラフの意味的構造を保持している。
• エンドツーエンドで訓練されることで、ビュー生成器は構造的・意味的整合性を保ったまま、適応的にビューを生成できるようになっている。

実験結果

リサーチクエスチョン

• RQ1 学習可能な微分可能なビュー生成器は、固定で手作業で設計された増幅よりも、グラフ対照学習で優れた性能を発揮できるか？
• RQ2 ビュー生成器、エンコーダー、分類器の連携学習は、事前学習・微調整パイプラインと比較して、表現品質をどのように向上させるか？
• RQ3 学習可能なビュー生成器は、対照学習に適した十分なトポロジーのばらつきを導入しながら、文脈的ラベルをどの程度保持できるか？
• RQ4 提案されたフレームワークは、半教師あり、教師なし、転移学習を含む多様なグラフ学習タスクに一般化できるか？

主な発見

• AutoGCLは、Cora、PubMed、COLLABを含む複数のベンチマークデータセットで最先端の性能を達成しており、半教師ありおよび教師なし学習設定の両方で既存手法を上回っている。
• NCI1データセットでは、ノードドロップ比0.3でテスト精度75.11 ± 2.24を達成し、GraphCLや他のベースラインを上回っている。
• t-SNE可視化により、固定増幅ベースラインと比較して、AutoGCLはよりコンパクトで意味的整合性のあるクラスタを生成していることが確認された。
• 学習曲線と精度比較から、連携学習戦略はナーブな事前学習・微調整パイプラインと比較して過学習を顕著に低減し、テスト精度を向上させている。
• MNIST-Superpixelにおける可視化では、AutoGCLのビュー生成器が標準的なノードドロップと比較して、重要な意味的ノードをよりよく保持しており、構造的整合性を維持している。
• 転移学習においても優れた一般化性能を示しており、複数の下流タスクで一貫した改善が得られている。