[論文レビュー] Does MAML really want feature reuse only

Jaehoon Oh, Hyung‐Jun Yoo+2 more|arXiv (Cornell University)|Aug 20, 2020

Domain Adaptation and Few-Shot Learning参考文献 36被引用数 3

ひとこと要約

本論文は、内側ループの更新中に分類器（ヘッド）を固定し、特徴抽出器（ボディ）のみを更新する、新しいメタラーニングアルゴリズムBOILを提案する—これは、MAMLの成功の主な要因が特徴の再利用であるという一般的な仮説とは対照的である。実験の結果、BOILはMAMLを顕著に上回る性能を示し、ヘッドを固定することで迅速な表現適応が性能に不可欠であることが明らかになった。これは、特徴再利用の優位性に疑問を呈するものである。

ABSTRACT

Meta-learning, the effort to solve new tasks with only a few samples, has attracted great attention in recent years. Model Agnostic Meta-Learning (MAML) is one of the most representative gradient-based meta-learning algorithms. MAML learns new tasks with a few data samples with inner updates from a meta-initialization point and learns the meta-initialization parameters with outer updates. Recently, it has been hypothesized that feature reuse, which makes little change in efficient representations, is the dominant factor in the performance of meta-initialized model through MAML rather than rapid learning, which makes a big change in representations. In this work, we propose a novel meta-learning algorithm, coined as BOIL (Body Only update in Inner Loop), that updates only the body (extractor) of the model and freezes the head (classifier) of the model during inner loop updates. The BOIL algorithm thus heavily relies on rapid learning. Note that BOIL is the opposite direction to the hypothesis that feature reuse is more efficient than rapid learning. We validate the BOIL algorithm on various data sets and show significant performance improvement over MAML. The results imply that rapid learning in gradient-based meta-learning approaches is necessary.

研究の動機と目的

• 少サンプル学習におけるMAMLの性能の主な要因が特徴の再利用であるという仮説に挑戦すること。
• 内側の更新における大きな表現変化（迅速な学習）が、特徴再利用を上回る性能を発揮できるかどうかを調査すること。
• 内側更新時に分類器を固定することで迅速な学習を重視する新しいメタラーニングアルゴリズムを設計・評価すること。
• 急速な学習に依存することで、MAMLの特徴再利用の枠組みを上回る優れた性能が得られることを示すこと。

提案手法

• 分類器（ヘッド）を固定し、内側ループの更新を特徴抽出器（ボディ）のみに限定するBOILと呼ばれるメタラーニングアルゴリズムを提案する。
• メタ初期化パラメータを最適化するために、標準のMAMLの外側更新を維持する。
• MAMLと同一のメタ初期化を用いるが、内側の更新をボディに限定することで、特徴再利用ではなく表現の変化による適応を強制する。
• 内側ループでは勾配更新をボディに限定して、標準的なバックプロパゲーションでモデルを学習する。
• BOILとMAMLを比較するために、標準的な少サンプル分類ベンチマークで性能を評価する。
• 公平な比較のため、ネットワークアーキテクチャとトレーニングプロトコルをMAMLと同一にし、内側ループの更新範囲を除いては同一である。

実験結果

リサーチクエスチョン

• RQ1 特徴再利用は、実際に少サンプル学習におけるMAML成功の主な要因であるのだろうか？
• RQ2 特徴再利用よりも迅速な学習を重視するメタラーニングアルゴリズムが、MAMLを上回ることができるのだろうか？
• RQ3 内側ループで分類器を固定することで、より良い一般化と迅速な適応が達成されるのだろうか？
• RQ4 BOILの性能は、多様な少サンプル学習ベンチマークにおいてMAMLと比較してどうなるのだろうか？

主な発見

• BOILは、多数の少サンプル学習データセットでMAMLを顕著に上回る性能を達成した。
• 結果は、内側ループの更新における大きな表現変化（迅速な学習）が、メタラーニングにおいて特徴再利用を上回る有効性を持つことを示した。
• 内側ループで分類器を固定することで、モデルは表現を迅速に適応させることを強制され、少サンプル一般化性能が向上した。
• BOILの成功は、MAMLの有効性の背後にある主なメカニズムが特徴再利用であるという一般的な仮説に反する。
• これらの発見は、急速な表現適応が、勾配ベースのメタラーニングにおいて、必要かつ十分な要因である可能性を示唆している。
• BOILがMAMLを上回る性能を示したことは、MAML成功の現在の理解が不完全であり、急速な学習が以前に想定された以上に重要な役割を果たしている可能性を示している。