[論文レビュー] A Survey on Machine Learning from Few Samples

Jiang Lu, Pinghua Gong+1 more|arXiv (Cornell University)|Sep 6, 2020

Domain Adaptation and Few-Shot Learning参考文献 367被引用数 24

ひとこと要約

この包括的なサーベイは、2000年代から2019年までの少データ学習（FSL）に関する300篇以上の論文をレビューし、生成的および判別的モデルに分類する。特にメタラーニングに基づく手法に重点を置いている。階層的分類体系を提示し、メタラーニング戦略の進化を分析し、新興分野、ベンチマーク、応用分野を強調することで、低データAIシステム分野における今後の研究の体系的基盤を提供する。

ABSTRACT

Few sample learning (FSL) is significant and challenging in the field of machine learning. The capability of learning and generalizing from very few samples successfully is a noticeable demarcation separating artificial intelligence and human intelligence since humans can readily establish their cognition to novelty from just a single or a handful of examples whereas machine learning algorithms typically entail hundreds or thousands of supervised samples to guarantee generalization ability. Despite the long history dated back to the early 2000s and the widespread attention in recent years with booming deep learning technologies, little surveys or reviews for FSL are available until now. In this context, we extensively review 300+ papers of FSL spanning from the 2000s to 2019 and provide a timely and comprehensive survey for FSL. In this survey, we review the evolution history as well as the current progress on FSL, categorize FSL approaches into the generative model based and discriminative model based kinds in principle, and emphasize particularly on the meta learning based FSL approaches. We also summarize several recently emerging extensional topics of FSL and review the latest advances on these topics. Furthermore, we highlight the important FSL applications covering many research hotspots in computer vision, natural language processing, audio and speech, reinforcement learning and robotic, data analysis, etc. Finally, we conclude the survey with a discussion on promising trends in the hope of providing guidance and insights to follow-up researches.

研究の動機と目的

• 2000年代から2019年までの少データ学習（FSL）研究を、分野における体系的なサーベイが不足している現状を踏まえ、タイムリーかつ包括的にレビューすること。
• FSLアプローチを、その背後にある原理に基づいて生成的および判別的モデリングパラダイムに分類すること。
• メタラーニングに基づくFSL手法に重点を置き、5つのサブクラス（測定を学ぶ、微調整を学ぶ、パラメータ化を学ぶ、調整を学ぶ、記憶を学ぶ）を含む、体系的な分析を行うこと。
• 半教師あり、教師なし、クロスドメインFSLなどのFSLの新興拡張分野を要約し、これらの分野における最近の進展をレビューすること。
• コンピュータビジョン、自然言語処理（NLP）、音声、ロボット工学、医療分野におけるFSLの実世界応用を強調し、主要なベンチマークと未解決の課題を特定すること。

提案手法

• 2000年代初頭から2019年までをカバーする300篇以上のFSL論文を対象とした体系的文献レビューを実施。初期のモデル（例：Congealingモデル）から現代のメタラーニングフレームワークまでを網羅。
• 一般化可能性と学習原理に基づく階層的分類体系を提案し、FSL手法を生成的および判別的モデルに分類。
• メタラーニングに基づくFSLを、5つのコアな学習目的（測定を学ぶ、微調整を学ぶ、パラメータ化を学ぶ、調整を学ぶ、記憶を学ぶ）を特定することで分析。
• miniImageNet、Omniglot、およびCVPR 2020で新たに導入されたクロスドメイン少データ学習チャレンジといった主要なFSLベンチマークをレビュー。
• 5ウェイ1ショットおよび5ショットタスクにおける少データ精度といった標準化された指標を用いて、ドメインを超えたFSL性能を評価。
• 認知科学および神経生物学の知見を統合し、スパースなデータ下での関数正則化問題としてのFSLの理論的枠組みを構築。

実験結果

リサーチクエスチョン

• RQ1 2000年から2019年の間に、FSL手法は初期の生成的モデルから現代のメタラーニングフレームワークへどのように進化したか？
• RQ2 モデリング原理と一般化メカニズムの観点から、生成的および判別的FSLアプローチの核心的な違いと関係は何か？
• RQ3 5つのメタラーニングベースのFSLサブクラス（測定を学ぶ、微調整を学ぶ、など）は、学習目的とアーキテクチャ設計においてどのように異なるか？
• RQ4 半教師あり、教師なし、クロスドメインFSLといった新興FSL拡張分野における主な課題と最近の進展は何か？
• RQ5 医療、ロボット工学、NLP分野における実世界の応用は、低データ環境下でのFSLの実用的妥当性と限界をどのように示しているか？

主な発見

• このサーベイは、現代のFSLにおいてメタラーニングが支配的であると特定。特に「測定を学ぶ」と「微調整を学ぶ」が最も広く採用されている。
• miniImageNetなどの標準ベンチマークでの性能評価では、メタラーニングモデルが5ウェイ1ショットタスクで80％以上の精度を達成しており、非メタベースラインを著しく上回っている。
• CVPR 2020で開催されたクロスドメイン少データ学習チャレンジでは、ImageNetで学習したモデルが皮膚画像や衛星画像など多様なドメインに一般化可能であることが示されたが、平均して10–20％の性能低下を示した。
• 半教師ありおよび教師なしFSLの拡張分野は有望であり、最近の手法では、ラベルなしターゲットデータを活用することで、教師ありベースライン比で最大15％の性能向上が達成された。
• 進展にもかかわらず、ドメインシフトやデータノイズ下での一般化は依然として主要な課題であり、外部要因や分布シフト下で既存モデルが顕著な性能低下を示している。
• 理論的分析により、すべてのFSL手法が暗黙的に関数空間を正則化していることが判明し、スパースな教師信号下での関数正則化に基づく統一的フレームワークが示唆された。