[論文レビュー] Learning Universal Graph Neural Network Embeddings With Aid Of Transfer Learning

Saurabh Verma, Zhi-Li Zhang|arXiv (Cornell University)|Sep 22, 2019

Advanced Graph Neural Networks参考文献 59被引用数 10

ひとこと要約

本稿では、自己教師あり事前学習と転移学習を通じて、タスクに依存しない普遍的なグラフ埋め込みを学習する、新しいグラフニューラルネットワークDUGnnを提案する。普遍的なグラフエンコーダとグラフカーネルを用いたマルチタスクグラフデコーダを組み合わせることで、DUGnnはグラフ分類ベンチマークで既存のGNNおよびグラフカーネルを3%〜8%上回る最先端の性能を達成する。

ABSTRACT

Learning powerful data embeddings has become a center piece in machine learning, especially in natural language processing and computer vision domains. The crux of these embeddings is that they are pretrained on huge corpus of data in a unsupervised fashion, sometimes aided with transfer learning. However currently in the graph learning domain, embeddings learned through existing graph neural networks (GNNs) are task dependent and thus cannot be shared across different datasets. In this paper, we present a first powerful and theoretically guaranteed graph neural network that is designed to learn task-independent graph embeddings, thereafter referred to as deep universal graph embedding (DUGNN). Our DUGNN model incorporates a novel graph neural network (as a universal graph encoder) and leverages rich Graph Kernels (as a multi-task graph decoder) for both unsupervised learning and (task-specific) adaptive supervised learning. By learning task-independent graph embeddings across diverse datasets, DUGNN also reaps the benefits of transfer learning. Through extensive experiments and ablation studies, we show that the proposed DUGNN model consistently outperforms both the existing state-of-art GNN models and Graph Kernels by an increased accuracy of 3% - 8% on graph classification benchmark datasets.

研究の動機と目的

• 既存のGNNは通常タスクごとに訓練され、データセット間で共有できないため、タスクに依存しないグラフ埋め込みの欠如に対処する。
• 変動する入力次元、モデル容量の制限、自己教師ありグラフ再構成といった、グラフ表現学習における技術的課題を克服する。
• 多様なデータセットで普遍エンコーダを事前学習することで、グラフニューラルネットワークにおける転移学習を可能にし、下流タスクにおける汎化性と性能を向上させる。
• グラフカーネルを用いたマルチタスクデコーダを設計し、部分構造の捉え込みを強化し、自己教師ありおよび適応的教師あり学習を両立させる。
• DUGnnモデルのグラフ分類タスクにおける理論的汎化保証を確立し、転移学習が一般化誤差の低減に寄与することを示す。

提案手法

• 多様なデータセットにわたる可変サイズのノード特徴行列を正規化・標準化するための入力変換器（Input Transformer）を導入し、一貫した入力処理を可能にする。
• 複数のデータセット上で自己教師あり事前学習を実施することで、グローバルかつタスクに依存しないグラフ埋め込みを学習する普遍的グラフエンコーダを構築する。
• 自動エンコーダ損失（$\mathcal{L}_A$）、グラフカーネル再構成損失（$\mathcal{L}_{\mathcal{K}}^{(\text{unsup})}$）、教師あり分類損失（$\mathcal{L}_{\text{class}}$）の3つの損失成分を同時に最適化するマルチタスクグラフデコーダを実装する。
• 自己教師あり事前学習を可能にするために、入力グラフの構造的性質を埋め込みから再構成できるように、デコーダでグラフカーネル（例：Weisfeiler-Lehman、Graphletカーネル）を活用する。
• 特定の下流タスクに合わせて事前学習済みの普遍エンコーダを微調整することで転移学習を適用し、共有表現学習による性能向上を実現する。
• 理論的分析により、DUGnnのグラフ分類における一般化境界を提供し、転移学習が一般化ギャップを低減することを示す。

実験結果

リサーチクエスチョン

• RQ1 タスクに依存せず、多様なデータセット間で転送可能な普遍的なグラフ埋め込みを学習できるグラフニューラルネットワークを設計できるか？
• RQ2 マルチタスクデコーダとしてグラフカーネルを組み込むことで、学習されたグラフ埋め込みの質と一般化性能がどのように向上するか？
• RQ3 学習から再初期化する場合と比較して、共有の普遍エンコーダを介した転移学習が、下流のグラフ分類タスクにおける性能向上にどの程度寄与するか？
• RQ4 マルチタスクデコーダの各コンポonent（自動エンコーダ、グラフカーネル、分類損失）が、全体のモデル性能に果たす相対的寄与度は何か？
• RQ5 転移学習とマルチタスクデコーディングを用いて学習された普遍的グラフ埋め込みモデルに対して、理論的汎化保証を確立できるか？

主な発見

• DUGnnは、NCI1、MUTAG、PTC、QM8を含む標準的なグラフ分類ベンチマークで、最先端のGNNおよびグラフカーネルを3%〜8%上回る精度を達成する。
• QM8データセットでは、マルチタスクデコーダを除いた普遍的グラフエンコーダのみでも、11.16の新しい最先端の平均絶対誤差（MAE）を達成し、MPNN、DTNN、GCNNを20%〜30%上回る。
• 学習から再初期化する場合と比較して、事前学習済みDUGnnモデルを用いた転移学習により、精度低下が0.4%〜1%減少する。特にPTCのような小規模データセットではより大きな向上が見られる。
• グラフカーネル損失（$\mathcal{L}_{\mathcal{K}}^{(\text{unsup})}$）を削除すると精度が2%〜3%低下し、自動エンコーダ損失（$\mathcal{L}_A$）を削除すると3%〜4%低下する。これにより、マルチタスクデコーダの重要性が明確に示される。
• 教師あり分類損失（$\mathcal{L}_{\text{class}}$）は顕著な寄与を示すが、これを除いてもDUGnnはグラフカーネル手法と同等の性能を維持する。これは普遍エンコーダの頑健性を示している。
• アブレーションスタディにより、マルチタスクデコーダが性能に不可欠であることが確認され、全データセットでDUGnnの完全モデルが、アブレーション変種を常に上回る。