[論文レビュー] A Meta-Learning Approach for Graph Representation Learning in Multi-Task Settings

Davide Buffelli, Fabio Vandin|arXiv (Cornell University)|Dec 12, 2020

Advanced Graph Neural Networks参考文献 38被引用数 16

ひとこと要約

本論文は、1つのタスクあたり数ステップの勾配更新で、ノード分類、グラフ分類、リンク予測の複数のグラフタスクにおいて高い性能を達成できるノード埋め込みを生成できる、メタラーニングアプローチSAME（Single-Task Adaptation Meta-Learning）を提案する。この手法は、古典的なマルチタスク学習および微調整ベースラインを上回り、単純な線形分類器と組み合わせた場合、単一タスクモデルの性能に匹敵またはそれを上回る埋め込みを生成する。

ABSTRACT

Graph Neural Networks (GNNs) are a framework for graph representation learning, where a model learns to generate low dimensional node embeddings that encapsulate structural and feature-related information. GNNs are usually trained in an end-to-end fashion, leading to highly specialized node embeddings. However, generating node embeddings that can be used to perform multiple tasks (with performance comparable to single-task models) is an open problem. We propose a novel meta-learning strategy capable of producing multi-task node embeddings. Our method avoids the difficulties arising when learning to perform multiple tasks concurrently by, instead, learning to quickly (i.e. with a few steps of gradient descent) adapt to multiple tasks singularly. We show that the embeddings produced by our method can be used to perform multiple tasks with comparable or higher performance than classically trained models. Our method is model-agnostic and task-agnostic, thus applicable to a wide variety of multi-task domains.

研究の動機と目的

• ノード埋め込みが1つのタスクで学習された後、他のタスクで性能が著しく低下するグラフ表現学習における低い転送性の課題に対処すること。
• 複数のタスクを同時に学習することによる性能低下を回避することで、マルチタスク学習の性能を改善すること。
• モデルに依存せずタスクに依存しない方法を構築し、少数の勾配ステップで個々のタスクに迅速に適応可能にすること。
• メタ学習された埋め込みが、多様なグラフタスクにおいて単一タスクモデルの性能に達するか、それを上回ることを示すこと。
• エピソードベースのトレーニングが、マルチタスクおよびシングルタスク設定の両方で表現品質を向上させる利点を調査すること。

提案手法

• 最適化に基づくメタラーニング（例：MAML）に基礎を置くメタラーニングフレームワークを提案し、モデルが少数の勾配ステップで新しいタスクに迅速に適応できるように訓練する。
• エピソードベースのトレーニング戦略を採用：各エピソードは1つのタスク（例：ノード分類）をサンプリングし、サポートセット上で少数の勾配更新を実行してモデルを適応させる。
• 2つのバージョンを採用：iSAME（暗黙的適応）とeSAME（明示的適応）、それぞれメタアップデート時の適応の計算方法が異なる。
• GNNエンコーダを訓練して、タスク間で一般化可能なノード埋め込みを生成し、タスクごとに少数ステップの勾配降下法でファインチューニングを行う線形分類器ヘッドを用いる。
• メタラーニング目的関数を適用し、少数の適応ステップ後のタスク間平均損失を最小化することで、頑健で転送性の高い表現を促進する。
• この手法はモデルに依存せずタスクに依存しないため、任意のGNNアーキテクチャおよび下流のグラフ学習タスクに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 複数のグラフ学習タスクにわたって良好に一般化できる1つのノード埋め込みセットを学習できるか？
• RQ2 個々のタスクへの高速適応を実現するメタラーニングは、グラフ表現学習における古典的なマルチタスク学習を上回るか？
• RQ3 エピソードベースのメタラーニング戦略は、シングルタスク設定でもノード表現品質を向上させるか？
• RQ4 メタ学習された埋め込みの性能は、複数のベンチマークにおいて単一タスクモデルおよびファインチューニングベースラインと比べてどうか？
• RQ5 提案手法はタスクの多様性に対して頑健であり、さまざまなグラフデータセットで有効に機能するか？

主な発見

• eSAMEバージョンは、タスク間の平均性能低下が最悪でたった3%にとどまる一方、古典的なマルチタスクモデルは29%の低下を示し、優れた頑健性を示した。
• eSAMEの埋め込みに基づく線形分類器は、すべてのデータセットでエンドツーエンドのマルチタスクモデルを上回り、ノード分類のDHFRでは最大6.8%の向上を達成した。
• iSAMEとeSAMEの両バージョンは同等の性能を示し、主な利点が適応メカニズムではなくメタラーニング最適化プロセスに起因していることを示唆した。
• メタ学習された埋め込みは、3つのタスク（NC、GC、LP）すべてにおいて古典的なマルチタスクモデルを上回り、NCでは平均2.7–3.2%、LPでは1.5–3.2%の向上を示した。
• エピソードベースのトレーニング戦略は、シングルタスク設定でも表現品質を向上させたことから、表現学習全体に広範な利点をもたらす可能性がある。
• ファインチューニングベースラインは、古典的なマルチタスクモデルよりも性能が低く、マルチタスクグラフ学習における知識転送の難しさを確認した。