[論文レビュー] Generalizing from a Few Examples: A Survey on Few-Shot Learning

Yaqing Wang, Quanming Yao+2 more|arXiv (Cornell University)|Apr 10, 2019

Domain Adaptation and Few-Shot Learning参考文献 182被引用数 799

ひとこと要約

Few-Shot Learning (FSL) を定義し、それを関連問題と区別し、データ・モデル・アルゴリズムの観点で分類された FSL 手法の分類法をレビューし、将来の方向性について議論する包括的なサーベイ。

ABSTRACT

Machine learning has been highly successful in data-intensive applications but is often hampered when the data set is small. Recently, Few-Shot Learning (FSL) is proposed to tackle this problem. Using prior knowledge, FSL can rapidly generalize to new tasks containing only a few samples with supervised information. In this paper, we conduct a thorough survey to fully understand FSL. Starting from a formal definition of FSL, we distinguish FSL from several relevant machine learning problems. We then point out that the core issue in FSL is that the empirical risk minimized is unreliable. Based on how prior knowledge can be used to handle this core issue, we categorize FSL methods from three perspectives: (i) data, which uses prior knowledge to augment the supervised experience; (ii) model, which uses prior knowledge to reduce the size of the hypothesis space; and (iii) algorithm, which uses prior knowledge to alter the search for the best hypothesis in the given hypothesis space. With this taxonomy, we review and discuss the pros and cons of each category. Promising directions, in the aspects of the FSL problem setups, techniques, applications and theories, are also proposed to provide insights for future research.

研究の動機と目的

• Few-Shot Learning を古典的な機械学習と関連付けて定義し、その目的と範囲を明確にする。
• FSL を関連する学習問題と区別し、信頼性の低い経験的リスク最小化という核となる課題を特定する。
• データ拡張、モデル制約、アルゴリズム探索に基づく FSL 手法の統一的分類法を提供する。
• 各分類カテゴリー内の既存研究を概観し、利点・欠点と実践的影響を議論する。
• 問題設定、技術、応用、FSL の理論理解に向けた有望な方向性を示唆する。

提案手法

• FSL の正式な定義を提示し、標準的な機械学習の定義と関連づける。
• FSL の問題変種を特徴づける（例：N-way K-shot classification、few-shot regression、few-shot RL）。
• エラー分解に基づく empirical risk minimization を前提としたデータ拡張、モデル制約、アルゴリズム探索を軸とする FSL 手法の分類法を構築する。
• サンプルを変換するデータ拡張技術、弱ラベル付け/未ラベルデータ、類似データセットの活用を含むデータ拡張技術を調査し、利点と限界を論じる。
• 多タスク学習、埋め込み、外部メモリ、生成モデルなどを介して仮説空間を制約するモデルベースのアプローチを調査し、事前知識が E_app および E_est をどのように低減するかを説明する。
• 将来の研究方向を問題設定、技術、応用、理論の観点から概説する。

実験結果

リサーチクエスチョン

• RQ1 Few-Shot Learning を最もよく捉える正式な定義と範囲は何で、それは伝統的な ML とどのように関連するか？
• RQ2 FSL における経験的リスク最小化の信頼性の低さを解決するためにどのように事前知識を組み込めるか？
• RQ3 FSL 手法の主なカテゴリは何で、データ・モデル・アルゴリズムのアプローチは利益と欠点の点でどのように比較できるか？
• RQ4 データ拡張、モデリング、アルゴリズム戦略の観点から、FSL を跨ぐ分野で効果的な手法は何か？
• RQ5 FSL の理論と実践における主要な未解決問題と将来の方向性は何か？

主な発見

• FSL はラベル付きトレーニングデータの小規模性により、標準的な ML とは主要な点で異なり、経験的リスク最小化が信頼性を欠く。
• FSL の統一分類法は data augmentation、model constraints、algorithmic search strategies から成る。
• データベース拡張手法は D_train を増やし、効果的なサンプルサイズを大きくし、より信頼性の高い学習を可能にする。
• モデルベースの手法は prior knowledge を用いて仮説空間を制約し、few-shot 条件下での一般化を改善する。
• アルゴリズム的手法は prior knowledge、良い初期化、ガイド付き更新などを含む探索と最適化の改善を図る。
• 本サーベイは問題設定、技術、応用、理論の各方面における長所・限界・将来の方向性を論じる。