[論文レビュー] Learning from Few Samples: A Survey

Nihar Bendre, Hugo Terashima‐Marín+1 more|arXiv (Cornell University)|Jul 30, 2020

Domain Adaptation and Few-Shot Learning参考文献 140被引用数 37

ひとこと要約

この調査は computer vision における few-shot meta-learning 技術を分析し、分類法を提案し Omniglot と Mini-Imagenet のベンチマークで方法を比較します。

ABSTRACT

Deep neural networks have been able to outperform humans in some cases like image recognition and image classification. However, with the emergence of various novel categories, the ability to continuously widen the learning capability of such networks from limited samples, still remains a challenge. Techniques like Meta-Learning and/or few-shot learning showed promising results, where they can learn or generalize to a novel category/task based on prior knowledge. In this paper, we perform a study of the existing few-shot meta-learning techniques in the computer vision domain based on their method and evaluation metrics. We provide a taxonomy for the techniques and categorize them as data-augmentation, embedding, optimization and semantics based learning for few-shot, one-shot and zero-shot settings. We then describe the seminal work done in each category and discuss their approach towards solving the predicament of learning from few samples. Lastly we provide a comparison of these techniques on the commonly used benchmark datasets: Omniglot, and MiniImagenet, along with a discussion towards the future direction of improving the performance of these techniques towards the final goal of outperforming humans.

研究の動機と目的

• 少数のサンプルからの学習の研究を動機づけ、未知カテゴリのラベル付きデータの制限という課題を強調する。
• few-shot meta-learning アプローチの4つのカテゴリにわたる分類法を提供する。
• 各カテゴリ内の重要な研究とその戦略を要約する。
• 標準的な CV ベンチマークで技術の性能を比較し、今後の方向性を議論する。

提案手法

• データ拡張、埋め込み、最適化、意味ベースのグループに少数ショット/meta-learning 手法を分類する。
• 各カテゴリの代表的な重要論文とそのコアアイデアを説明する。
• これらの手法が未知タスクの少数ラベル付きサンプルからの学習にどのように対処するかを説明する。
• 共通のベンチマークデータセット Omniglot と Mini-Imagenet を用いて方法を比較する。
• 転移学習や自己教師あり学習への結びつきを補完的なアプローチとして議論する。

実験結果

リサーチクエスチョン

• RQ1 コンピュータビジョンにおける few-shot meta-learning 手法の main カテゴリとそのコアアイデアは何か？
• RQ2 データ拡張、埋め込み、最適化、意味ベースの手法は Omniglot や Mini-Imagenet のような標準ベンチマークでどのように機能するか？
• RQ3 現行のアプローチの限界と few-shot 学習性能向上の潜在的な今後の方向性は何か？

主な発見

• 論文は four カテゴリ: データ拡張、埋め込み、最適化、意味ベース学習を few-shot、one-shot、zero-shot の設定での分類法として提供する。
• 各カテゴリ内の重要論文と、限られたサンプルからの学習へのアプローチをレビューする。
• Omniglot と Mini-Imagenet のデータセットで技術を比較し、相対的な強みと制約を議論する。
• 本調査は few-shot 学習タスクにおける人間の性能を超える将来の方向性を検討する。