[論文レビュー] A Survey of Few-Shot Learning on Graphs: from Meta-Learning to Pre-Training and Prompt Learning

Xingtong Yu, Yuan Fang+6 more|arXiv (Cornell University)|Feb 2, 2024

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本サーベイは、グラフ上の少サンプル学習について包括的で体系的なレビューを提供し、既存の手法をメタラーニング、事前学習、ハイブリッド手法の3つに分類する。細分化された分類体系を提示し、各パラダイムの長所と短所を比較し、スケーラビリティ、複雑なグラフ構造、グラフ用のファウンデーションモデルに関する今後の研究方向性を示している。

ABSTRACT

Graph representation learning, a critical step in graph-centric tasks, has seen significant advancements. Earlier techniques often operate in an end-to-end setting, which heavily rely on the availability of ample labeled data. This constraint has spurred the emergence of few-shot learning on graphs, where only a few labels are available for each task. Given the extensive literature in this field, this survey endeavors to synthesize recent developments, provide comparative insights, and identify future directions. We systematically categorize existing studies based on two major taxonomies: (1) Problem taxonomy, which explores different types of data scarcity problems and their applications, and (2) Technique taxonomy, which details key strategies for addressing these data-scarce few-shot problems. The techniques can be broadly categorized into meta-learning, pre-training, and hybrid approaches, with a finer-grained classification in each category to aid readers in their method selection process. Within each category, we analyze the relationships among these methods and compare their strengths and limitations. Finally, we outline prospective directions for few-shot learning on graphs to catalyze continued innovation in this field. The website for this survey can be accessed by \url{https://github.com/smufang/fewshotgraph}.

研究の動機と目的

• グラフベースの機械学習におけるラベル付きデータの制限という課題に対処するため、グラフ上の少サンプル学習における最近の進展をサーベイすること。
• グラフ上の少サンプル学習手法を体系的な分類体系にすることにより、メタラーニング、事前学習、ハイブリッド手法に分類すること。
• 各手法ファミリーの長所と短所を比較し、実用的応用における手法選定の指針を提供すること。
• 未解決の課題を特定し、大規模かつ複雑なグラフ、およびクロスドメインのグラフにおける少サンプル学習という分野における今後の研究方向性を提案すること。
• グラフファウンデーションモデルの可能性と、少サンプルグラフ学習における解釈性の向上について議論することで、イノベーションを促進すること。

提案手法

• 本サーベイは、既存のグラフ上の少サンプル学習手法を3つの主要なファミリーに分類する：メタラーニング、事前学習、ハイブリッド手法。
• メタラーニングについては、MAML やプロトタイプネットワークのような手法を検討し、タスク分布上でメタトレーニングにより一般化された適応プロセスを学習する。
• 事前学習については、対照的学習やグラフオートエンコーダーのような自己教師付き技術をレビューし、ラベルなしデータ上でグラフエンコーダーを最適化する。
• ハイブリッド手法は、メタラーニングと事前学習を統合し、ラベルなしグラフデータとタスク固有のアノテーションの両方を活用して、より強固な適応を実現する。
• 本サーベイは、タスク間での一般化能力、スケーラビリティ、新規クラスへの転送可能性に基づいて手法を評価する。
• 各ファミリー内での細分化された分類を用いることで、研究者が特定のグラフ学習タスクに適した技術を選択しやすくなる。

実験結果

リサーチクエスチョン

• RQ1 どのようにしてグラフ上の少サンプル学習を体系的に分類することで、手法選定と理解が向上できるか？
• RQ2 メタラーニング、事前学習、ハイブリッド手法の間の主な違い、長所、短所は何か？
• RQ3 大規模で複雑なグラフ、およびクロスドメインのグラフに少サンプル学習を適用する際に残っている課題は何か？
• RQ4 特に潜在空間のプロンプトがブラックボックスであることに鑑み、少サンプルグラフ学習モデルにおける解釈性をどのように向上できるか？
• RQ5 グラフファウンデーションモデルは、多様なグラフ構造やタスクタイプにわたる転送性を向上させるために果たす役割は何か？

主な発見

• MAML やプロトタイプネットワークなどのメタラーニング手法は、タスク分布上でメタトレーニングにより一般化された適応プロセスを学習し、少数のラベル付き例で新しいタスクに迅速に適応可能である。
• GraphSAGE や GAE などの事前学習手法は、ラベルなしデータ上で自己教師付きの事前学習タスクを介してグラフ表現を学習し、その後、下流の少サンプルタスクにファインチューニングする。
• メタラーニングと事前学習を組み合わせたハイブリッド手法は、ラベルなしデータとタスク固有のアノテーションの両方を活用することで、より強固な適応が可能となり、性能が向上する。
• 大規模なグラフにおける少サンプル学習は、計算上の非効率性とスケーラブルで局所性に配慮した適応戦略の必要性から、依然として大きな課題である。
• 3次元、マルチモーダル、ダイナミックなグラフなどの複雑なグラフ構造は、現在の均一的かつ静的グラフの仮定を超える新しい手法的フレームワークを必要としている。
• 大規模かつ多様なグラフデータで事前学習されたグラフファウンデーションモデルの開発は、回帰やグラフ生成を含む多様なドメインやタスクタイプにわたる転送性の向上に大きな可能性を秘めている。