[論文レビュー] A Comprehensive Overview and Survey of Recent Advances in Meta-Learning

Huimin Peng|arXiv (Cornell University)|Apr 17, 2020

Domain Adaptation and Few-Shot Learning参考文献 123被引用数 37

ひとこと要約

このサーベイはメタ学習の手法、分類、データセット、応用をレビューし、few-shot 学習と他の機械学習フレームワークとの統合に重点を置く。

ABSTRACT

This article reviews meta-learning also known as learning-to-learn which seeks rapid and accurate model adaptation to unseen tasks with applications in highly automated AI, few-shot learning, natural language processing and robotics. Unlike deep learning, meta-learning can be applied to few-shot high-dimensional datasets and considers further improving model generalization to unseen tasks. Deep learning is focused upon in-sample prediction and meta-learning concerns model adaptation for out-of-sample prediction. Meta-learning can continually perform self-improvement to achieve highly autonomous AI. Meta-learning may serve as an additional generalization block complementary for original deep learning model. Meta-learning seeks adaptation of machine learning models to unseen tasks which are vastly different from trained tasks. Meta-learning with coevolution between agent and environment provides solutions for complex tasks unsolvable by training from scratch. Meta-learning methodology covers a wide range of great minds and thoughts. We briefly introduce meta-learning methodologies in the following categories: black-box meta-learning, metric-based meta-learning, layered meta-learning and Bayesian meta-learning framework. Recent applications concentrate upon the integration of meta-learning with other machine learning framework to provide feasible integrated problem solutions. We briefly present recent meta-learning advances and discuss potential future research directions.

研究の動機と目的

• メタ学習の動機づけと定義、および未見タスクへの迅速な適応を目指す目標を定義する。
• モデルベース、メトリックベース、最適化ベース、およびベイズ的フレームワークに基づくメタ学習アプローチを分類する。
• few-shotメタ学習とエピソード訓練で用いられるデータセットと定式化を要約する。
• メタ学習が強化学習、模倣学習、オンライン学習、無監督学習とどのように統合されるかを概説する。
• 今後の研究方向と一般的なAIへの潜在的影響を強調する。

提案手法

• メタ学習手法を大まかに4つのカテゴリーに分類する：モデルベース、メトリックベース、階層/最適化ベース、そしてベイズ的メタ学習。
• メモリ拡張ネットワーク、シアマウ/プロトタイプ/マッチングネットワーク、MAMLとその派生、およびベイズ拡張など代表的な手法を検討する。
• few-shot学習のエピソード訓練と、サポートセットとクエリセットを用いたメタ訓練/検証/テストのワークフローを説明する。
• タスク間の類似性モデリングの役割と、それがタスク間の迅速な適応をどのように導くかを検討する。
• メタRLとメタ模倣学習、さらには無監督学習とオンラインメタ学習における応用を要約する。

実験結果

リサーチクエスチョン

• RQ1 メタ学習の主な方法論的カテゴリとその核心機構は何か？
• RQ2 few-shot学習フレームワークはエピソード訓練をどのように用いてタスク間の迅速な適応を可能にするか？
• RQ3 画像分類を中心に、メタ学習アプローチを評価する際に一般的に用いられるデータセットとベンチマークは何か？
• RQ4 メタ学習は強化学習、模倣学習、オンライン学習、無監督学習など他のMLパラダイムとどのように統合できるか？
• RQ5 将来のメタ学習研究に関連する有望な方向性と課題は何か？

主な発見

• メタ学習手法は広く、モデルベース、メトリックベース、階層/最適化ベース、ベイズ的フレームワークに分類される。
• MAMLは、SGDで訓練された任意の学習器に適用可能な、顕著でモデル非依存のアプローチとして強調される。
• few-shot learningは最近の進展の主な焦点であり、評価に一般的に用いられるデータセットとしてminiImageNetやtieredImageNetが挙げられる。
• メタ学習はますます他のMLフレームワーク、例えばメタRL、メタ模倣学習、オンライン/無監督メタ学習と統合されている。
• 多様なタスク間での一般化を可能にするためのタスク間類似性モデリングへの関心が高まっている。