[論文レビュー] Graph Representation Learning via Multi-task Knowledge Distillation

Jiaqi Ma, Qiaozhu Mei|arXiv (Cornell University)|Nov 11, 2019

Advanced Graph Neural Networks参考文献 18被引用数 9

ひとこと要約

本稿では、密度や直径などのネットワーク理論に基づくグラフ指標を補助タスクとして活用することで、グラフ表現学習を向上させるマルチタスク知識蒸留フレームワークを提案する。主なグラフレベル予測タスクとこれらの補助指標を同時に学習することで、特にラベルが少ない状況下でもモデル性能が向上し、NCI1 や IMDB-BINARY などの合成および実世界のデータセットで一貫した向上が確認された。

ABSTRACT

Machine learning on graph structured data has attracted much research interest due to its ubiquity in real world data. However, how to efficiently represent graph data in a general way is still an open problem. Traditional methods use handcraft graph features in a tabular form but suffer from the defects of domain expertise requirement and information loss. Graph representation learning overcomes these defects by automatically learning the continuous representations from graph structures, but they require abundant training labels, which are often hard to fulfill for graph-level prediction problems. In this work, we demonstrate that, if available, the domain expertise used for designing handcraft graph features can improve the graph-level representation learning when training labels are scarce. Specifically, we proposed a multi-task knowledge distillation method. By incorporating network-theory-based graph metrics as auxiliary tasks, we show on both synthetic and real datasets that the proposed multi-task learning method can improve the prediction performance of the original learning task, especially when the training data size is small.

研究の動機と目的

• ラベル付きデータが限られる状況下で、グラフレベル表現学習の性能が低いという課題に対処すること。
• ネットワーク理論からのドメイン知識を深層グラフ表現モデルに統合し、大規模なラベル付きデータセットへの依存を減らすこと。
• マルチタスク知識蒸留を用いて、グラフ表現学習の一般化性能とサンプル効率を向上させること。
• グラフ指標（例：直径、密度）に基づく補助タスクが、主な予測タスクに知識を効果的に転送できることを示すこと。
• 低データ状況下で、合成および実世界のグラフベンチマークデータセット（NCI1, IMDB-BINARY など）に対して本手法を検証すること。

提案手法

• 本手法は、DeepGraph をインspired した共有のグラフ表現バックボーンを用い、ヒートカーネルシグネチャ（HKS）を用いて、生のグラフから連続的かつデータ駆動的な表現を学習する。
• グラフ構造から直接計算されるネットワーク理論指標に基づく複数の補助タスク（特に、密度と直径）を導入する。
• 主なタスクの予測損失と補助タスクの損失を同時に最小化するマルチタスク学習目的関数を定式化し、各タスクの寄与度を調整するための学習可能なタスク重み（αk）を導入する。
• グラフ指標をソフトラベルとして知識蒸留を適用することで、推論時に再計算を必要とせずに構造的インダクティブバイアスを学習できる。
• モデルアーキテクチャは、すべてのタスクに共通する最初の2つのニューラルネットワークブロック（畳み込み層および最初の全結合層）を共有し、各タスクは自身の最終全結合層を別々に持つ。
• 本手法は、任意の教師ありグラフ表現学習モデルと互換性があり、既存のフレームワークにプラグインモジュールとして適用可能である。

実験結果

リサーチクエスチョン

• RQ1 ネットワーク理論に基づくグラフ指標（密度、直径など）を補助タスクとして組み込むことで、グラフレベル表現学習モデルの性能が向上するか？
• RQ2 手作業で作成されたグラフ指標からの知識蒸留が、ラベル付きデータが限られる状況下でモデルの一般化性能を向上させるか？
• RQ3 補助タスクによる性能向上は、訓練データサイズに応じてどのように変化するか、特に低データ状況下での挙動は？
• RQ4 本手法は合成および実世界のグラフデータセットの両方で有効であるか？
• RQ5 グラフ指標から導出されるソフトラベルを用いることで、リアルタイムでの特徴量計算を避けることで推論コストが低減されるか？

主な発見

• ポissonランダムおよびプリファレンシャルアタッチメントの合成グラフでは、マルチタスクモデルが単一タスクモデルを一貫して上回り、特に訓練データ量が少ない場合に性能差が顕著に現れた。
• NCI1 データセットでは、マルチタスクモデルが単一タスクモデルよりも高い10-fold 交差検証精度を達成しており、特に訓練データの小さな割合しか使用しない場合に顕著に優れた性能を示した。
• IMDB-BINARY データセットでは、マルチタスクモデルが性能向上を示したが、データセットサイズが小さいため高いばらつきがあり、差が明確に現れなかった。
• 訓練データサイズが増加するにつれて、マルチタスクモデルと単一タスクモデルの性能差が縮小する傾向にあり、補助タスクの恩恵が特にラベルが少ない状況で顕著であることが示された。
• 推論時にグラフ指標の計算を再計算する必要がないため、本手法はテスト時の計算コストを削減した。
• グラフ指標を補助タスクとして用いることで、ドメイン知識が利用可能であるがラベル付きデータが限られる状況で、一般化性能が向上した。