[论文解读] Does MAML really want feature reuse only

Jaehoon Oh, Hyung‐Jun Yoo+2 more|arXiv (Cornell University)|Aug 20, 2020

Domain Adaptation and Few-Shot Learning参考文献 36被引用 3

一句话总结

该论文提出了一种名为 BOIL 的新型元学习算法，该算法在内循环更新过程中仅更新特征提取器（主体），而冻结分类器（头部）——这与当前普遍认为特征重用驱动 MAML 成功的假设相反。实验表明，BOIL 显著优于 MAML，证明通过冻结头部实现的快速表征适应对于性能至关重要，从而挑战了特征重用的主导地位。

ABSTRACT

Meta-learning, the effort to solve new tasks with only a few samples, has attracted great attention in recent years. Model Agnostic Meta-Learning (MAML) is one of the most representative gradient-based meta-learning algorithms. MAML learns new tasks with a few data samples with inner updates from a meta-initialization point and learns the meta-initialization parameters with outer updates. Recently, it has been hypothesized that feature reuse, which makes little change in efficient representations, is the dominant factor in the performance of meta-initialized model through MAML rather than rapid learning, which makes a big change in representations. In this work, we propose a novel meta-learning algorithm, coined as BOIL (Body Only update in Inner Loop), that updates only the body (extractor) of the model and freezes the head (classifier) of the model during inner loop updates. The BOIL algorithm thus heavily relies on rapid learning. Note that BOIL is the opposite direction to the hypothesis that feature reuse is more efficient than rapid learning. We validate the BOIL algorithm on various data sets and show significant performance improvement over MAML. The results imply that rapid learning in gradient-based meta-learning approaches is necessary.

研究动机与目标

• 挑战特征重用是少样本学习中 MAML 性能主要驱动因素的假设。
• 探究在元学习中，相较于特征重用，强调快速学习（即内更新期间表征的大幅变化）是否能够实现更优性能。
• 设计并评估一种新元学习算法，通过在内更新期间冻结分类器来强调快速学习。
• 证明对快速学习的强烈依赖可带来优于 MAML 特征重用范式的性能表现。

提出的方法

• 提出 BOIL，一种元学习算法，其在内循环更新中仅对特征提取器（主体）进行更新，而保持分类器（头部）冻结。
• 保留标准 MAML 的外循环更新以优化元初始化参数。
• 采用与 MAML 相同的元初始化，但将内更新限制在主体，强制通过表征变化而非特征重用来实现适应。
• 使用标准反向传播训练模型，且在内循环中将梯度更新限制在主体部分。
• 在标准少样本分类基准上评估性能，以比较 BOIL 与 MAML 的表现。
• 采用与 MAML 相同的网络架构和训练协议以实现公平比较，仅在内循环更新范围上存在差异。

实验结果

研究问题

• RQ1 特征重用是否真的是 MAML 在少样本学习中取得成功的主要因素？
• RQ2 一种强调快速学习而非特征重用的元学习算法是否能够超越 MAML？
• RQ3 在内循环更新期间冻结分类器是否能带来更好的泛化能力和更快的适应速度？
• RQ4 BOIL 在多样化的少样本学习基准上的表现与 MAML 相比如何？

主要发现

• BOIL 在多个少样本学习数据集上均显著优于 MAML。
• 结果表明，在元学习中，内更新期间表征的大幅变化（即快速学习）比特征重用更有效。
• 在内循环中冻结分类器可强制模型快速适应表征，从而实现更好的少样本泛化能力。
• BOIL 的成功与当前普遍认为特征重用是 MAML 有效性的关键机制的假设相矛盾。
• 研究结果表明，快速表征适应不仅必要，而且足以实现基于梯度的元学习中的高性能。
• BOIL 相较于 MAML 的性能提升表明，目前对 MAML 成功原因的理解可能不完整，快速学习的作用可能比先前认为的更为关键。