[論文レビュー] Meta-Learning with Graph Neural Networks: Methods and Applications

Debmalya Mandal, Sourav Medya+2 more|arXiv (Cornell University)|Feb 27, 2021

Advanced Graph Neural Networks参考文献 75被引用数 13

ひとこと要約

本サーベイは、グラフニューラルネットワーク（GNN）を用いて強化されたメタラーニング手法について包括的なレビューを提供し、共有表現の種別（局所的またはグローバル）および応用分野別にアプローチを分類している。メタラーニングがノード分類、リンク予測、グラフ特性予測などのタスクにおいてデータ不足を緩和する仕組みを示し、理論的および実践的知見を統合した、少サンプルグラフ学習のための包括的フレームワークを提示している。

ABSTRACT

Graph Neural Networks (GNNs), a generalization of deep neural networks on graph data have been widely used in various domains, ranging from drug discovery to recommender systems. However, GNNs on such applications are limited when there are few available samples. Meta-learning has been an important framework to address the lack of samples in machine learning, and in recent years, researchers have started to apply meta-learning to GNNs. In this work, we provide a comprehensive survey of different meta-learning approaches involving GNNs on various graph problems showing the power of using these two approaches together. We categorize the literature based on proposed architectures, shared representations, and applications. Finally, we discuss several exciting future research directions and open problems.

研究の動機と目的

• グラフ構造データを対象としたメタラーニング手法にGNNを統合する既存のアプローチを体系的に分類・レビューすること。
• GNNにメタラーニングを適用する際の主な課題（例：サポート・クエリの重複が限られていること、表現力の制限）を特定すること。
• 分子特性予測やネットワークアラインメントなど、多様な応用分野において、低データ環境下でのGNN性能向上にメタラーニングがどのように寄与するかを検討すること。
• 未解決問題と今後の研究方向性（動的グラフ、メタGNNにおける一般化の理論的理解など）を提示すること。

提案手法

• 共有表現の種別（局所的（ノード／エッジレベル）またはグローバル（グラフレベル））に基づいて、GNNを用いたメタラーニングを分類する。
• GCN、GraphSAGE、GINなどのGNNアーキテクチャをレビューし、メタラーニングフレームワークのバックボーンとしての役割を検討する。
• 各タスクが異なるグラフまたは部分グラフに対応するマルチタスクメタラーニング設定を分析し、少サンプル適応のためのサポートセットとクエリセットを検討する。
• 適応段階における固定パラメータとファインチューニング済みパラメータの両方を検討し、性能と一般化性能のトレードオフを評価する。
• 一般化境界やGNNの表現力（例：WLテスト同等性）といった理論的知見を統合し、メタラーニングの有効性を評価する。
• 動的グラフや最大共通部分グラフ（MCS）検出のような組合せ問題へのメタGNNの拡張を提案するフレームワークを構築する。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きデータが限られる状況下で、メタラーニングはGNNにおける少サンプル一般化をどのように向上させるか？
• RQ2 グラフタスクにおけるメタラーニングにおいて、最適な共有表現のレベル（局所的対グローバル）は何か？
• RQ3 新しいグラフタスクにおいて、メタパラメータのファインチューニングが性能向上に寄与するのはどのような状況か？
• RQ4 GNNの表現力と一般化境界が、メタラーニング性能にどのように影響を与えるか？
• RQ5 ネットワークアラインメントやMCSのような動的・組合せ的グラフ問題へ、メタラーニングを効果的に拡張できるか？

主な発見

• GNNを用いたメタラーニングは、タスク間で事前知識を活用することで、少サンプルノード分類およびグラフ分類タスクの性能を顕著に向上させる。
• グローバルなグラフレベル表現の使用は、グラフレベル予測タスクでの転送性能を向上させるが、局所的表現はノードレベルタスクにおいてより効果的である。
• 適応段階でメタパラメータをファインチューニングすると、新しいタスクで十分なサンプルが得られた場合には性能が向上する。
• メタラーニングフレームワークは、分子特性予測やネットワークアラインメントのような大規模でスパースなグラフ問題へのスケーラビリティの可能性を示している。
• 理論的分析から、GNNを用いたメタラーニングは一般化境界の恩恵を受ける可能性があるが、[GJJ20]および[STH18]の結果をメタGNNに拡張する課題は未解決のままである。
• NP困難な問題（例：MCS）に対する既存の正確なソルバーはスケーラブルではないが、メタラーニングは少数のラベル付きインスタンスから学習する有望な道筋を提供する。