[论文解读] BOIL: Towards Representation Change for Few-shot Learning

Jaehoon Oh, Hyung‐Jun Yoo+2 more|arXiv (Cornell University)|Aug 20, 2020

Domain Adaptation and Few-Shot Learning参考文献 44被引用 61

一句话总结

BOIL 在内环中仅更新 body（特征提取器）并在头部冻结的情况下，与 MAML/ANIL 相比，强制表征变换并改进跨域少样本学习。

ABSTRACT

Model Agnostic Meta-Learning (MAML) is one of the most representative of gradient-based meta-learning algorithms. MAML learns new tasks with a few data samples using inner updates from a meta-initialization point and learns the meta-initialization parameters with outer updates. It has recently been hypothesized that representation reuse, which makes little change in efficient representations, is the dominant factor in the performance of the meta-initialized model through MAML in contrast to representation change, which causes a significant change in representations. In this study, we investigate the necessity of representation change for the ultimate goal of few-shot learning, which is solving domain-agnostic tasks. To this aim, we propose a novel meta-learning algorithm, called BOIL (Body Only update in Inner Loop), which updates only the body (extractor) of the model and freezes the head (classifier) during inner loop updates. BOIL leverages representation change rather than representation reuse. This is because feature vectors (representations) have to move quickly to their corresponding frozen head vectors. We visualize this property using cosine similarity, CKA, and empirical results without the head. BOIL empirically shows significant performance improvement over MAML, particularly on cross-domain tasks. The results imply that representation change in gradient-based meta-learning approaches is a critical component.

研究动机与目标

• 在基于梯度的元学习中，为实现域无关自适应激励表征变换的需求（不仅仅重用）。
• 提出 BOIL，在内循环任务学习中仅更新 body 以鼓励表征变换。
• 在跨领域和细粒度数据集上实证比较 BOIL 与 MAML/ANIL。
• 利用余弦相似度和 CKA 分析表征动态，以验证 BOIL 的表征变换。
• 探索对更深网络的扩展，并通过消融研究提供见解。

提出的方法

• 将网络分成 body（卷积提取器）和 head（分类器）。
• 在内循环中仅更新 body（将 head 的学习率设为零以进行内更新）。
• Formalize BOIL updates as θ_b,τ_i = θ_b − α_b ∇_{θ_b} L_{S_τ_i}(f_θ) and θ_h,τ_i = θ_h (α_h = 0).
• 与 MAML（α_b = α_h ≠ 0）和 ANIL（α_b = 0, α_h ≠ 0）进行比较，以强调表征变换。
• 通过逐层余弦相似度和 Centered Kernel Alignment (CKA) 提供可解释性，展示高层的表征变换。
• 在 ResNet-12 中通过移除最后一个跳连来实现断连技巧，进一步提升高层表征变换，从而扩展 BOIL。

实验结果

研究问题

• RQ1 表征变换在跨域的有效元学习中是否至关重要，还是表征重用就足够？
• RQ2 在内循环仅更新 body 是否能获得优于跨域和细粒度小样本的性能？
• RQ3 相对于 MAML/ANIL，BOIL 内部表示如何演化，以余弦相似度和 CKA 来衡量？
• RQ4 在 BOIL 中冻结头部是否会影响过拟合并使对未见域的泛化更好？
• RQ5 BOIL 能否扩展到更深的骨干网（如 ResNet-12），通过架构调整来保留表征变换？

主要发现

• BOIL 在若干基准及跨域数据集上优于 MAML/ANIL，在 Cars 和 CUB 上的提升尤为明显。
• BOIL 实现了强的跨域适应能力，涵盖从通用到通用、从通用到特定以及鸟到车的迁移。
• 表征分析表明 BOIL 在低/中层表现出表征重用，而在高层表现出表征变换，与主要表现为重用的 MAML/ANIL 不同。
• 冻结头部是关键；即使头部学习率很小也会降低 BOIL 的性能。
• 在更深的网络（ResNet-12）中使用断连技巧可进一步通过促进高层表征变换来增强 BOIL。
• BOIL 可以与预条件梯度视角有效结合，并在与 WarpGrad 结合时表现更佳。