[論文レビュー] BOIL: Towards Representation Change for Few-shot Learning

Jaehoon Oh, Hyung‐Jun Yoo+2 more|arXiv (Cornell University)|Aug 20, 2020

Domain Adaptation and Few-Shot Learning参考文献 44被引用数 61

ひとこと要約

BOIL は内側ループの本体のみを更新し、ヘッドを凍結することで表現変化を促し、MAML/ANIL と比較してクロスドメインのFew-shot 学習を改善する。

ABSTRACT

Model Agnostic Meta-Learning (MAML) is one of the most representative of gradient-based meta-learning algorithms. MAML learns new tasks with a few data samples using inner updates from a meta-initialization point and learns the meta-initialization parameters with outer updates. It has recently been hypothesized that representation reuse, which makes little change in efficient representations, is the dominant factor in the performance of the meta-initialized model through MAML in contrast to representation change, which causes a significant change in representations. In this study, we investigate the necessity of representation change for the ultimate goal of few-shot learning, which is solving domain-agnostic tasks. To this aim, we propose a novel meta-learning algorithm, called BOIL (Body Only update in Inner Loop), which updates only the body (extractor) of the model and freezes the head (classifier) during inner loop updates. BOIL leverages representation change rather than representation reuse. This is because feature vectors (representations) have to move quickly to their corresponding frozen head vectors. We visualize this property using cosine similarity, CKA, and empirical results without the head. BOIL empirically shows significant performance improvement over MAML, particularly on cross-domain tasks. The results imply that representation change in gradient-based meta-learning approaches is a critical component.

研究の動機と目的

• 表現変化を必要とする（単なる再利用ではなく）ことを示すことが、ドメイン非依存適応の勾配ベースのメタ学習には重要である。
• 内側ループのタスク学習時に本体のみを更新して表現変化を促すBOILを提案する。
• BOILをMAML/ANILとクロスドメインおよびファイングレードデータセットで経験的に比較する。
• cosine similarity と CKA を用いてBOIL における表現変化を検証する。
• より深いネットワークへの拡張とアブレーション研究を通じて洞察を提供する。

提案手法

• ネットワークを本体（畳み込み抽出器）とヘッド（分類器）に分割する。
• 内側ループでは本体のみを更新し（内更新のヘッド学習率を0に設定）、表現変化を促す。
• BOIL の更新を θ_b,τ_i = θ_b − α_b ∇_{θ_b} L_{S_τ_i}(f_θ) および θ_h,τ_i = θ_h (α_h = 0) と形式化する。
• 表現変化を強調するため、MAML（α_b = α_h ≠ 0）およびANIL（α_b = 0, α_h ≠ 0）と比較する。
• 層ごとのコサイン類似度および中央化カーネルアライメント（CKA）による解釈性を提供し、高レベル層での表現変化を示す。
• ResNet-12 における最後のスキップ接続を取り除くことで表現変化を高める disconnection トリックを用いたBOIL の拡張。

実験結果

リサーチクエスチョン

• RQ1 表現変化はドメイン横断の効果的なメタ学習に必須なのか、それとも表現再利用が十分なのか。
• RQ2 内側ループで本体のみを更新することで、クロスドメインおよびファイングレードの少数-shot 性能を上回れるか。
• RQ3 cosine similarity および CKA で測定したBOIL、MAML、ANIL の内部での表現の進化はどうか。
• RQ4 BOIL でヘッドを凍結することは過学習を抑え、未知のドメインへの一般化を向上させるか。
• RQ5 BOIL はより深いバックボーン（例：ResNet-12）へ拡張可能か、表現変化を保つためのアーキテクチャ調整はどうか。

主な発見

• BOIL は複数のベンチマークおよびクロスドメインのデータセットで MAML/ANIL を上回り、Cars および CUB で特に顕著な改善を示す。
• BOIL は一般化→一般化、一般化→特定、鳥→車といったクロスドメイン適応を強力に達成する。
• 表現分析では、BOIL が低〜中層で表現再利用を示し、高層で表現変化を示すのに対し、MAML/ANIL は主に再利用を示す。
• ヘッドの凍結は重要であり、ヘッド学習率を小さくしても BOIL の性能が低下する。
• 深層ネットワーク（ResNet-12）での disconnection トリックは高次表現の変化を促進し、BOIL をさらに高める。
• BOIL は事前条件付き勾配の観点と組み合わせて効果的であり、WarpGrad との統合で改善する。