[論文レビュー] Few-shot Learning: A Survey

Yaqing Wang, Quanming Yao|arXiv (Cornell University)|Jan 1, 2019

Domain Adaptation and Few-Shot Learning参考文献 128被引用数 109

ひとこと要約

本サーベイは、Few-Shot Learning (FSL) の包括的概要を提供し、その形式的問題設定を定義し、メタ最適化、表現学習、一般化といったコアな課題を特定する。既存の FSL メソッドを統一的な分類法に整理し、その長所と短所を分析し、AI や機械学習分野における問題定義、技術、応用、理論の分野における今後の研究方向性を提示する。

ABSTRACT

The quest of `can machines think' and `can machines do what human do' are quests that drive the development of artificial intelligence. Although recent artificial intelligence succeeds in many data intensive applications, it still lacks the ability of learning from limited exemplars and fast generalizing to new tasks. To tackle this problem, one has to turn to machine learning, which supports the scientific study of artificial intelligence. Particularly, a machine learning problem called Few-Shot Learning (FSL) targets at this case. It can rapidly generalize to new tasks of limited supervised experience by turning to prior knowledge, which mimics human's ability to acquire knowledge from few examples through generalization and analogy. It has been seen as a test-bed for real artificial intelligence, a way to reduce laborious data gathering and computationally costly training, and antidote for rare cases learning. With extensive works on emerging, we give a comprehensive survey for it. We first give the formal definition for FSL. Then we point out the core issues of FSL, which turns the problem from how to solve FSL to how to deal with the core issues. Accordingly, existing works from the birth of to the most recent published ones are categorized in a unified taxonomy, with thorough discussion of the pros and cons for different categories. Finally, we envision possible future directions for in terms of problem setup, techniques, applications and theory, hoping to provide insights to both beginners and experienced researchers.

研究の動機と目的

• Few-Shot Learning (FSL) を、最小限のラベル付き例でのみ新しいタスクに迅速に一般化できる機械学習問題として形式的に定義すること。
• FSL のコアな問題を特定・フレームワーク化し、FSL の解決に焦点を当てるのではなく、メタ最適化や表現学習といった根本的課題に注目すること。
• メトリックベース、モデルに依存しない、最適化ベース、メタラーニングアプローチを含む、その基盤となるメカニズムに基づいて、FSL メソッドを統一的な分類法で分類すること。
• 性能、一般化、スケーラビリティの観点から、異なる FSL メソッドのカテゴリの長所と短所を批判的に分析すること。
• 問題定義、技術、応用、理論の分野における、FSL の将来の研究方向性を予想すること。

提案手法

• FSL を、モデルがわずかなラベル付き例から新しい概念を学び、事前知識を活用するタスクとして形式的に定義する。
• FSL のコアな課題として、メタ最適化、表現学習、一般化を、孤立した解決策ではなく、問題の中心的要因として特定する。
• メトリックベース、モデルに依存しない、最適化ベース、メタラーニングアプローチを含む、その背後にあるメカニズムに基づいて FSL メソッドを分類する統一的な分類法を開発する。
• 強み（例：迅速な適応）と弱み（例：データ依存性、スケーラビリティの問題）を評価することで、メソッドのカテゴリを分析する。
• 古典的手法から現代のディープラーニングベースのアプローチに至る FSL 技術の進化をレビューし、アーキテクチャ的およびトレーニング的イノベーションに焦点を当てる。
• 異なるメソッド間の知見を統合し、共通のパターンと相違点を明らかにすることで、将来の手法設計を支援する。

実験結果

リサーチクエスチョン

• RQ1 Few-Shot Learning が機械学習問題として有する形式的特徴と主要な構成要素は何か？
• RQ2 単なるモデルの精度を超えて、Few-Shot Learning の難易度を定義するコアな課題は何か？
• RQ3 統一的な分類法を用いて、既存の FSL メソッドを体系的に分類・比較できるか？
• RQ4 一般化と効率性の観点から、異なる FSL メソッドファミリーの相対的な利点と制限は何か？
• RQ5 問題定義、技術、応用、理論の分野において、FSL の今後の最も有望な研究方向性は何か？

主な発見

• Few-Shot Learning は、事前知識を活用することで、最小限のラベル付きデータで新しいタスクに迅速に適応できる学習パラダイムとして形式的に定義される。
• FSL のコアな課題であるメタ最適化、表現学習、一般化といった要因を克服することで、堅牢なパフォーマンスが達成できる。
• FSL メソッドの統一的分類法により、メトリックベース、モデルに依存しない、最適化ベースのアプローチを含む多様なアプローチの理解と比較が明確に可能になる。
• 各メソッドカテゴリには明確な強みと弱みがある。例えば、メトリックベースのメソッドは少サンプル一般化において優れた性能を発揮するが、分布シフトに対しては苦戦する可能性がある。
• 本サーベイでは理論的理解のギャップを特定し、FSL の一般化および一般化バウンズに関するより厳密な分析を求める。
• 今後の研究は、スケーラブルで、データ効率的かつ理論的根拠に基づいた FSL フレームワークに注力すべきであり、現実世界のレアイベントや低データ環境への適用が想定される。