[论文解读] Learning What and Where to Transfer

Yunhun Jang, Hankook Lee+2 more|arXiv (Cornell University)|May 15, 2019

Domain Adaptation and Few-Shot Learning被引用 25

一句话总结

该论文提出 L2T-ww，一种基于元学习的迁移学习方法，可自动识别在异构源网络与目标网络之间应迁移哪些特征和层。通过元网络学习动态迁移权重，其在 CUB200 数据集上使用 ImageNet 预训练时达到 65.05% 的准确率，显著高于第二好的基线方法（58.90%）。

ABSTRACT

As the application of deep learning has expanded to real-world problems with insufficient volume of training data, transfer learning recently has gained much attention as means of improving the performance in such small-data regime. However, when existing methods are applied between heterogeneous architectures and tasks, it becomes more important to manage their detailed configurations and often requires exhaustive tuning on them for the desired performance. To address the issue, we propose a novel transfer learning approach based on meta-learning that can automatically learn what knowledge to transfer from the source network to where in the target network. Given source and target networks, we propose an efficient training scheme to learn meta-networks that decide (a) which pairs of layers between the source and target networks should be matched for knowledge transfer and (b) which features and how much knowledge from each feature should be transferred. We validate our meta-transfer approach against recent transfer learning methods on various datasets and network architectures, on which our automated scheme significantly outperforms the prior baselines that find "what and where to transfer" in a hand-crafted manner.

研究动机与目标

• 解决在架构与任务均不同的异构深度神经网络之间迁移知识的挑战。
• 克服现有迁移学习方法依赖人工手工配置层匹配与特征重要性的局限。
• 开发一种自动、自适应机制，以选择源网络中的相关特征及目标网络中的最优迁移目标。
• 通过学习任务与架构感知的迁移规则，在低数据场景下实现有效的迁移学习。
• 支持多源迁移，自动聚合来自多样化预训练模型的知识，无需人工调参。

提出的方法

• 引入元网络 $f$ 和 $g$，联合学习每对源-目标层之间以及各层内每个通道的迁移权重。
• 设计一种高效的元学习方案，其中内循环仅最小化迁移目标（而非完整训练），从而加速收敛。
• 基于一步适应性能设计元目标，以训练元网络，实现快速且可扩展的优化。
• 在源特征图与目标特征图之间应用加权特征匹配，其中权重由元网络预测，以突出任务相关特征。
• 端到端联合训练目标网络与元网络，使系统能够自动学习最优迁移配置，无需人工干预。
• 利用知识蒸馏与特征匹配损失指导迁移过程，同时动态调整每层与每通道的贡献度。

实验结果

研究问题

• RQ1 元学习框架能否自动识别针对特定目标任务，源网络中哪些特征与层最为相关？
• RQ2 在异构迁移学习中，自动动态迁移加权与固定的手工层与通道匹配相比表现如何？
• RQ3 在传统微调失效的低数据场景下，所提方法在多大程度上能提升性能？
• RQ4 在无需人工配置的情况下，该方法能否有效聚合来自多个异构源模型的知识？
• RQ5 所学习的迁移机制是否通过显著性图验证，提升了任务特定特征的激活？

主要发现

• 在使用 ImageNet 预训练的 CUB200 数据集上，L2T-ww 达到 65.05% 的准确率，比第二好的基线方法（LwF+AT）高出 6.15 个百分点。
• 在每类仅 50 个样本的情况下，L2T-ww 达到 64.91% 的准确率，超过使用 250 个样本/类的 LwF 方法（53.76%）超过 11 个百分点。
• 在所有低数据设置（$N \in \{50,100,250,500,1000\}$）下，该方法均显著提升性能，展现出在少样本学习中的鲁棒性。
• 在多源迁移中，当组合异构源模型（如 TinyImageNet + CIFAR-10）时，L2T-ww 始终优于基线方法，表明其具备有效的知识聚合能力。
• 显著性图可视化结果表明，L2T-ww 强调了任务相关特征（如鸟类、狗），同时抑制了背景噪声，表明其特征选择性得到改善。
• 所提出的一步适应元学习方案减少了内循环计算时间，实现了目标模型与元网络的高效联合训练。