[論文レビュー] Meta-SGD: Learning to Learn Quickly for Few-Shot Learning

Zhenguo Li, Fengwei Zhou+2 more|arXiv (Cornell University)|Jul 31, 2017

Domain Adaptation and Few-Shot Learning参考文献 26被引用数 839

ひとこと要約

Meta-SGD は SGD に似たメタ学習器を学習し、初期化、更新方向、各パラメータ学習率を学習することにより、1ステップで任意の微分可能な学習器を初期化・適応させ、回帰、分類、および強化学習の分野で強力な結果を達成します。

ABSTRACT

Few-shot learning is challenging for learning algorithms that learn each task in isolation and from scratch. In contrast, meta-learning learns from many related tasks a meta-learner that can learn a new task more accurately and faster with fewer examples, where the choice of meta-learners is crucial. In this paper, we develop Meta-SGD, an SGD-like, easily trainable meta-learner that can initialize and adapt any differentiable learner in just one step, on both supervised learning and reinforcement learning. Compared to the popular meta-learner LSTM, Meta-SGD is conceptually simpler, easier to implement, and can be learned more efficiently. Compared to the latest meta-learner MAML, Meta-SGD has a much higher capacity by learning to learn not just the learner initialization, but also the learner update direction and learning rate, all in a single meta-learning process. Meta-SGD shows highly competitive performance for few-shot learning on regression, classification, and reinforcement learning.

研究の動機と目的

• 学習可能な最適化戦略を用いて、Few-shot 学習で限られたデータからの高速適応を動機づける。
• 初期化とパラメータごとの更新規則を同時に学習する、SGD に似たメタ学習器を提案する。
• 更新方向と学習率を学習することが、従来のメタ学習器に対する容量を高めることを示す。
• 1ステップ適応で回帰、分類、強化学習のいずれも競争力のある、または最先端の性能を示す。

提案手法

• Meta-SGD を導入する。これは、θ' = θ − α ∘ ∇Ltrain(θ) のように learner を更新する最適化子風のメタ-学習器で、α は θ と共に学習される。
• 初期化 θ と更新スケーリング α の両方を、タスク分布 p(T) からサンプルされた多くの関連タスクに対してエンドツーエンドで学習する。
• タスク全体を横断して、1ステップ適応後のテストセットの期待一般化損失を最小化することにより、メタ学習器を訓練する（メタ訓練）。
• 回帰と分類の監督学習、および強化学習にこのフレームワークを適用し、すべてのケースで SGD に似た更新を用いる。
• Meta-SGD を Meta-LSTM および MAML と比較し、より高い容量とより簡単で効率的な訓練を強調する。

実験結果

リサーチクエスチョン

• RQ1 few-shot データから新しいタスクの学習器を初期化し適応させるために、どのようにメタ-学習器を設計できるか。
• RQ2 更新方向とパラメータごとの学習率を学習することは、初期化のみを学習する場合よりも few-shot の一般化を改善するか。
• RQ3 単一のフォワードパス適応（1ステップ）で回帰、分類、強化学習タスクの競争力のある、または優れた性能を達成できるか。
• RQ4 既存のメタ学習器（MAML、Meta-LSTM）と比較して、訓練効率と性能の観点で Meta-SGD はどうか。

主な発見

• Meta-SGD は回帰、分類、強化学習のすべてで1ステップ適応を用い、高度に競争力のある結果を達成する。
• 回帰では、サイン曲線のfew-shotタスクにおいて、5-shot、10-shot、20-shot の設定で MAML を上回る。
• Omniglot および MiniImagenet の分類で、Meta-SGD は最先端または競争力のある精度を達成し、多くの設定でしばしば MAML と Meta-LSTM を上回る。
• 強化学習では、2D ナビゲーション課題で開始点が固定・変動の両方の場合に、MAML より高いリターンを Meta-SGD がもたらす。
• 単一のメタ学習プロセス内で初期化、更新方向、学習率を学習することにより、Meta-LSTM および MAML より訓練と適応が速い。