[論文レビュー] Iterative Graph Self-Distillation

Hanlin Zhang, Shuai Lin+5 more|arXiv (Cornell University)|Oct 23, 2020

Advanced Graph Neural Networks参考文献 51被引用数 10

ひとこと要約

本稿では、グラフ拡散のオーグメンテーションを用いた教師-生徒の distillation を用いて、完全グラフのビューを対比させる自己教師付きグラフ表現学習手法である反復的グラフ自己蒸留（IGSD）を提案する。複数のベンチマークにおいて、自己教師ありおよび半教師あり設定の両方で最先端の性能を達成しており、さらに自己学習を組み合わせることでさらなる向上が得られる。

ABSTRACT

Recently, there has been increasing interest in the challenge of how to discriminatively vectorize graphs. To address this, we propose a method called Iterative Graph Self-Distillation (IGSD) which learns graph-level representation in an unsupervised manner through instance discrimination using a self-supervised contrastive learning approach. IGSD involves a teacher-student distillation process that uses graph diffusion augmentations and constructs the teacher model using an exponential moving average of the student model. The intuition behind IGSD is to predict the teacher network representation of the graph pairs under different augmented views. As a natural extension, we also apply IGSD to semi-supervised scenarios by jointly regularizing the network with both supervised and self-supervised contrastive loss. Finally, we show that finetuning the IGSD-trained models with self-training can further improve the graph representation power. Empirically, we achieve significant and consistent performance gain on various graph datasets in both unsupervised and semi-supervised settings, which well validates the superiority of IGSD.

研究の動機と目的

• 大規模なラベル付きデータに依存せずに、判別的なグラフレベル表現を学習する課題に対処すること。
• ネガティブサンプリングや部分グラフサンプリングに依存する既存の対比学習手法の限界を克服すること。
• グラフレベル表現学習の文脈で、生徒と教師のネットワーク間での有効な知識移転を可能にする自己蒸留フレームワークを開発すること。
• 教師ありおよび自己教師ありの対比損失を同時に最適化することで、半教師ありシナリオにこの手法を拡張すること。
• 高信頼度の疑似ラベルを活用する自己学習戦略により、性能を向上させること。

提案手法

• IGSDは、教師ネットワークが生徒ネットワークのパラメータの指数的移動平均である教師-生徒蒸留フレームワークを採用している。
• グラフインスタンスはグラフ拡散を用いてオーグメント化され、対比学習のための複数のビューが生成される。
• モデルは、オーグメント化されたグラフビューの教師ネットワークの表現を予測することで学習され、ビュー間の一貫性が強制される。
• 対比学習のための潜在空間への表現マッピングに、プロジェクターヘッドが使用される。
• 半教師あり設定では、自己教師あり対比損失と教師あり対比損失を同時に最適化する。
• 高信頼度の疑似ラベルを用いた自己学習が、さらなる性能向上のために適用される。

実験結果

リサーチクエスチョン

• RQ1 ネガティブサンプリングを大規模に必要とせずに、自己蒸留フレームワークが判別的なグラフレベル表現を効果的に学習できるか。
• RQ2 生徒と教師のネットワーク間での反復的知識移転が、自己教師あり設定におけるグラフ表現学習をどのように改善するか。
• RQ3 提案手法が異なるGNNエンコーダーおよびデータオーグメンテーション戦略に一般化可能か。
• RQ4 少量のラベル付きデータしか利用できない状況において、IGSDは半教師ありグラフ学習でどの程度有効か。
• RQ5 疑似ラベルを用いた自己学習が、IGSDの性能をどの程度さらに向上させられるか。

主な発見

• QM9データセットの10の回帰タスクのうち9つにおいて、IGSDはInfoGraph、InfoGraph*、Mean Teachersを大きく上回る最先端の性能を達成した。
• IMDB-Bデータセットでは、IGSDはすべてのラベル付きデータの割合で強力なベースラインであるInfoGraph*を上回り、特に10%のラベル付きデータがある場合に最大の向上を示した。
• 自己学習はGINベースラインおよびIGSDモデルの両方の性能を向上させたが、特に教師あり対比損失と組み合わせた際に最大の向上が得られた。
• バッチサイズを増加させるとIGSDの性能が向上する一方、CMC-Graphは大きなバッチサイズで性能が低下するため、IGSDがネガティブペアを効果的に活用できることを示している。
• プロジェクターヘッドを削除すると、平均して分類精度が2.5%低下し、その重要性が確認された。
• プロジェクターヘッドのサイズにかかわらず性能は比較的感度が低く、やや大きなプロジェクターヘッドでわずかに良い結果が得られた。