[論文レビュー] Learning from Few Examples: A Summary of Approaches to Few-Shot Learning

Archit Parnami, Minwoo Lee|arXiv (Cornell University)|Mar 7, 2022

Domain Adaptation and Few-Shot Learning被引用数 139

ひとこと要約

本調査は、メタ学習と非メタ学習アプローチによる少数ショット学習を概説し、手法をメトリックベース、最適化ベース、モデルベースのパラダイムに分類し、ハイブリッドアプローチと進展について論じる。

ABSTRACT

Few-Shot Learning refers to the problem of learning the underlying pattern in the data just from a few training samples. Requiring a large number of data samples, many deep learning solutions suffer from data hunger and extensively high computation time and resources. Furthermore, data is often not available due to not only the nature of the problem or privacy concerns but also the cost of data preparation. Data collection, preprocessing, and labeling are strenuous human tasks. Therefore, few-shot learning that could drastically reduce the turnaround time of building machine learning applications emerges as a low-cost solution. This survey paper comprises a representative list of recently proposed few-shot learning algorithms. Given the learning dynamics and characteristics, the approaches to few-shot learning problems are discussed in the perspectives of meta-learning, transfer learning, and hybrid approaches (i.e., different variations of the few-shot learning problem).

研究の動機と目的

• Few-shot学習問題を動機づけ、その実践的意義を定義する。
• メタ学習、転移学習、およびハイブリッドの視点から最近のフューショット学習アプローチを調査し、分類する。
• 小データ学習の主要な手法ファミリーと重要な設計選択を要約する。
• データセット、進展、および分野の未解決の課題を強調する。

提案手法

• 少数ショット学習をメタ学習ベースと非メタ学習ベースのアプローチに分類する。
• メタ学習の中で、メトリックベース、最適化ベース、モデルベースの手法とハイブリッドを区別する。
• 代表アルゴリズム（例：Siamese/Matching/Prototypical/Relation networks；MAML、LEO、Proto-MAML）とそれらの学習パラダイムの詳細。
• エピソディックトレーニングとタスク分布をメタ学習の核心要素として説明する。
• 埋め込みの識別性を向上させるためのタスク適応型およびアテンションベースの改善を議論する。

実験結果

リサーチクエスチョン

• RQ1 フューショット分類の主要なメタ学習パラダイムは何で、P(y|x)のモデリングにおいてどのように異なるのか？
• RQ2 メトリックベース、最適化ベース、モデルベースのアプローチは、少数の例からの学習という課題にどう対処するのか？
• RQ3 性能を向上させる主要なハイブリッド戦略と拡張（hybrid/few-shot cross-domain、generalized FSL）は何か？
• RQ4 few-shot learningの進展を牽引するデータセットとベンチマークは何か、観察される進展の傾向は何か？
• RQ5 実世界へのデプロイメントにおけるfew-shot learningの未解決課題は何か？

主な発見

• メタ学習は少数ショット学習の支配的なパラダイムとして依然として優位であり、3つの主要な分野：メトリックベース、最適化ベース、モデルベースの手法。
• メトリックベースの手法は埋め込み関数と距離測度を使用し、M-way K-shotタスクでのエピソード訓練を可能にする。
• 最適化ベースの手法は、タスク間で学習者を最適化する方法を学習し、多くは外部ループ/内部ループのメタ訓練（例：MAML、LSTMメタラーナー）を通じて。
• モデルベースの手法は外部メモリや迅速な適応機構を活用して少数ショット推論を支援する。
• ハイブリッドアプローチは複数のアイデアを組み合わせて性能を向上させる（例：タスク間 conditioning、タスク適応表現）。
• 本調査は評価のための共通データセット（Omniglot、miniImageNet、FC100、tieredImageNet）とベンチマークを集約する。