[論文レビュー] Rapid Learning or Feature Reuse? Towards Understanding the Effectiveness of MAML

Aniruddh Raghu, Maithra Raghu+2 more|arXiv (Cornell University)|Sep 19, 2019

Domain Adaptation and Few-Shot Learning参考文献 35被引用数 96

ひとこと要約

本論文は、MAMLの成功を迅速な学習ではなく特徴の再利用が大きく説明していることを示し、競争力のある性能を持つ簡略化/テスト時バリアントとしてANILとNILを導入する。

ABSTRACT

An important research direction in machine learning has centered around developing meta-learning algorithms to tackle few-shot learning. An especially successful algorithm has been Model Agnostic Meta-Learning (MAML), a method that consists of two optimization loops, with the outer loop finding a meta-initialization, from which the inner loop can efficiently learn new tasks. Despite MAML's popularity, a fundamental open question remains -- is the effectiveness of MAML due to the meta-initialization being primed for rapid learning (large, efficient changes in the representations) or due to feature reuse, with the meta initialization already containing high quality features? We investigate this question, via ablation studies and analysis of the latent representations, finding that feature reuse is the dominant factor. This leads to the ANIL (Almost No Inner Loop) algorithm, a simplification of MAML where we remove the inner loop for all but the (task-specific) head of a MAML-trained network. ANIL matches MAML's performance on benchmark few-shot image classification and RL and offers computational improvements over MAML. We further study the precise contributions of the head and body of the network, showing that performance on the test tasks is entirely determined by the quality of the learned features, and we can remove even the head of the network (the NIL algorithm). We conclude with a discussion of the rapid learning vs feature reuse question for meta-learning algorithms more broadly.

研究の動機と目的

• MAMLの成功が迅速なタスク固有適応に由来するのか、それともメタ初期化に組み込まれた再利用可能な特徴に由来するのかを調査する。
• ネットワークの異なる構成要素（ボディ＝初期層とヘッド＝最終層）がFew-shot学習性能にどのように寄与するかを特徴づける。
• 計算量を削減しつつ性能を維持する簡略化された代替手段（ANIL、NIL）を開発する。
• メタ学習モデルの特徴品質とタスク特異性に対するトレーニングレジームの影響を理解する。

提案手法

• 異なるネットワーク部位に対する内部ループ更新の必要性を評価するために層凍結実験を行う。
• 内部ループ適応前後の潜在表現の変化を測るために表現類似性分析（CCA, CKA）を用いる。
• 内部ループでヘッドのみを更新する簡略化版ANILとMAMLを比較する。
• ラベリングにコサイン類似度を用いてボディ表現を使うことでテスト時のNILを検討する。
• 標準的なfew-shotベンチマーク（Omniglot、MiniImageNet）と強化学習タスクで評価する。

実験結果

リサーチクエスチョン

• RQ1 MAMLの有効性は迅速な内部ループ学習によるものか、それともメタ初期化における再利用可能な特徴によるものか？
• RQ2 ネットワークのボディ（初期層）とヘッド（最終層）はFew-shot学習性能にどのように寄与するか？
• RQ3 精度を失うことなくMAMLを簡略化できるか、計算上のトレードオフは何か？
• RQ4 トレーニングレジーム（マルチタスク、マルチクラス、NIL）は学習特徴の品質とタスク特異性に影響するか？

主な発見

凍結層（ボディ）	MiniImageNet-5ウェイ-1ショット	MiniImageNet-5ウェイ-5ショット
None	46.9 ± 0.2	63.1 ± 0.4
1	46.5 ± 0.3	63.0 ± 0.6
1,2	46.4 ± 0.4	62.6 ± 0.6
1,2,3	46.3 ± 0.4	61.2 ± 0.5
1,2,3,4	46.3 ± 0.4	61.0 ± 0.6

• 特徴の再利用がMAMLの効率的な学習の支配的要因であることは、ボディ層を凍結しても性能低下が最小限であることから示される。
• 畳み込みボディ表現は内部ループ更新の前後で非常に高い類似性を保つ（CCA/CKA > 約0.9）、一方でヘッドは大きく変化する。
• ANIL（Almost No Inner Loop）は標準ベンチマークでMAMLと同等の性能を示しつつ計算量を大幅に削減する。
• NIL（No Inner Loop）はテスト時に内部ループなしでボディ特徴とコサイン類似度のみを用いることで、複数のタスクでMAML/ANILと同等の結果を達成する。
• MAML/ANILを用いた訓練は、マルチクラス、マルチタスク、またはランダム特徴のレジームと比較してボディの特徴に優れた特徴をもたらす。
• 訓練時にはヘッドが良い特徴を学習するために重要だが、テスト時には未知のタスクに対してボディの特徴で十分な場合がある。