[論文レビュー] Adaptive-Step Graph Meta-Learner for Few-Shot Graph Classification

Ning Ma, Jiajun Bu+6 more|arXiv (Cornell University)|Mar 18, 2020

Advanced Graph Neural Networks参考文献 54被引用数 6

ひとこと要約

本稿では、未学習のグラフクラスへの高速かつロバストな適応を可能にする、グラフメタラーナーと適応的ステップコントローラーを備えた、少サンプルグラフ分類のための新規メタラーニングフレームワークAS-MAMLを提案する。局所的部分構造の抽出にGNNを活用し、非教師あり埋め込み品質指標（ANI）を用いた強化学習ベースのステップコントローラーを導入することで、複数の少サンプルグラフベンチマークで最先端の性能を達成し、共通のスーパークラスやグローバルスペクトルクラスタリングに依存する従来手法を上回る。

ABSTRACT

Graph classification aims to extract accurate information from graph-structured data for classification and is becoming more and more important in graph learning community. Although Graph Neural Networks (GNNs) have been successfully applied to graph classification tasks, most of them overlook the scarcity of labeled graph data in many applications. For example, in bioinformatics, obtaining protein graph labels usually needs laborious experiments. Recently, few-shot learning has been explored to alleviate this problem with only given a few labeled graph samples of test classes. The shared sub-structures between training classes and test classes are essential in few-shot graph classification. Exiting methods assume that the test classes belong to the same set of super-classes clustered from training classes. However, according to our observations, the label spaces of training classes and test classes usually do not overlap in real-world scenario. As a result, the existing methods don't well capture the local structures of unseen test classes. To overcome the limitation, in this paper, we propose a direct method to capture the sub-structures with well initialized meta-learner within a few adaptation steps. More specifically, (1) we propose a novel framework consisting of a graph meta-learner, which uses GNNs based modules for fast adaptation on graph data, and a step controller for the robustness and generalization of meta-learner; (2) we provide quantitative analysis for the framework and give a graph-dependent upper bound of the generalization error based on our framework; (3) the extensive experiments on real-world datasets demonstrate that our framework gets state-of-the-art results on several few-shot graph classification tasks compared to baselines.

研究の動機と目的

• 生物学情報学などの実世界の応用においてもラベル付きデータが乏しい状況が想定される少サンプルグラフ分類の課題に対処すること。
• 従来手法が訓練クラスとテストクラスのラベル空間に重複があることを仮定しているという制限を克服し、代わりに共有される局所的部分構造に焦点を当てる。
• 最小限のラベル付き例で、新しいグラフクラスへの高速かつロバストな適応を可能にするメタラーニングフレームワークの開発。
• 埋め込み品質に基づいて動的に適応ステップ数を調整する学習可能なステップコントローラーの導入により、一般化性能の向上と過学習の低減。
• グラフに依存する性質に基づいた一般化誤差の上界を理論的に導出することで、フレームワークのロバスト性を裏付ける。

提案手法

• フレームワークは、GNN（例：GraphSAGEやSAGPool）に基づくグラフメタラーナーを採用し、サポートグラフからタスク固有の表現を抽出する。
• 強化学習で実装された適応的ステップコントローラーが、非教師あり指標であるANI（平均近傍情報量）で測定された埋め込み品質に基づき、各タスクごとの適応ステップ数を動的に調整する。
• ANIは、ANIが低い場合の探索（ステップ数の増加）と、ANIが高い場合の活用（ステップ数の減少）のバランスを取るために報酬信号として用いられる。
• メタラーナーは、各エピソードが少サンプル分類タスクをシミュレートするエピソードベースの学習パラダイムで訓練される。
• 複数のエピソードにわたるメタ損失を最小化するメタ最適化目的関数を用いて、エンドツーエンドでフレームワークを訓練する。
• 理論的分析により、グラフデータの構造的性質と関連した一般化誤差の上界（グラフに依存する）が導出され、モデル性能とグラフデータの構造的性質の関連が明示される。

実験結果

リサーチクエスチョン

• RQ1 訓練クラスとテストクラスのラベル空間に重複がない状況でも、適応的ステップ制御を備えたメタラーナーが、未学習のグラフクラスへの一般化性能を向上させられるか？
• RQ2 グローバルなスーパークラスクラスタリングではなく、局所的部分構造の類似性を用いることで、少サンプルグラフ分類性能が向上するか？
• RQ3 非教師あり埋め込み品質指標（ANI）が、グラフデータのメタラーニングにおける適応プロセスを効果的に指針づけるか？
• RQ4 適応的ステップコントローラーは、グラフにおける少サンプル適応の際のロバスト性を向上させ、過学習を防止するか？
• RQ5 少サンプル学習における一般化誤差とグラフデータの構造的性質との間には、理論的にどのような関係があるか？

主な発見

• 5-way-10-shot設定下でのCOIL-DELデータセットにおいて、AS-MAMLは88.7%のテスト精度を達成し、微調整ベースラインより3.06%、非適応的バージョン（AS-MAML wo/AS）より2.28%高い性能を示した。
• 5-way-5-shot設定下でのCOIL-DELデータセットにおいて、本手法は85.3%のテスト精度を達成し、非適応的ベースラインより3.51%の向上を示した。
• アブレーションスタディにより、適応的ステップコントローラーが性能向上に顕著に寄与することが確認され、ANIフィードバックに基づくステップ数の動的調整が過学習を低減している。
• 未学習クラスにおける潜在表現の可視化により、モデルが識別性の高い部分構造に依存する埋め込みを学習していることが確認された。
• TRIANGLESおよびLetter-Highデータセットにおいて、AS-MAMLはGSMベースの手法（Chauhanら、2020）を大きく上回った。特に、三角形部分構造が顕著に現れるTRIANGLESでは顕著な優位性を示した。
• ANI指標は分類精度と正の相関を示しており、精度が過学習の影響で誤解を招く場合でも、高いANIはより良いグラフ埋め込みを示していることを示唆している。