[论文解读] Learning to Transfer

Ying Wei, Yu Zhang+1 more|arXiv (Cornell University)|Aug 18, 2017

Domain Adaptation and Few-Shot Learning参考文献 25被引用 12

一句话总结

本文提出了一种名为 L2T（Learning to Transfer）的新框架，通过从以往的迁移学习经验中学习，自动确定在源域与目标域之间应转移什么以及如何转移。该框架利用基于过往经验训练的反思函数来优化知识迁移，实现了在多个基准测试中的最先进性能提升，性能增益最高达 1.1872×。

ABSTRACT

Transfer learning borrows knowledge from a source domain to facilitate learning in a target domain. Two primary issues to be addressed in transfer learning are what and how to transfer. For a pair of domains, adopting different transfer learning algorithms results in different knowledge transferred between them. To discover the optimal transfer learning algorithm that maximally improves the learning performance in the target domain, researchers have to exhaustively explore all existing transfer learning algorithms, which is computationally intractable. As a trade-off, a sub-optimal algorithm is selected, which requires considerable expertise in an ad-hoc way. Meanwhile, it is widely accepted in educational psychology that human beings improve transfer learning skills of deciding what to transfer through meta-cognitive reflection on inductive transfer learning practices. Motivated by this, we propose a novel transfer learning framework known as Learning to Transfer (L2T) to automatically determine what and how to transfer are the best by leveraging previous transfer learning experiences. We establish the L2T framework in two stages: 1) we first learn a reflection function encrypting transfer learning skills from experiences; and 2) we infer what and how to transfer for a newly arrived pair of domains by optimizing the reflection function. Extensive experiments demonstrate the L2T's superiority over several state-of-the-art transfer learning algorithms and its effectiveness on discovering more transferable knowledge.

研究动机与目标

• 为解决手动为每对源-目标域选择最优迁移学习算法的挑战，该挑战计算成本高且高度依赖专业知识。
• 通过将历史经验中的迁移学习技能编码为反思函数，提升迁移学习的有效性。
• 利用元认知学习从过往经验中自动化决策 *转移什么* 和 *如何转移* 域间知识。
• 通过从多样化迁移学习经验中学习通用迁移策略，减少对临时算法选择的依赖。

提出的方法

• 该框架从过往迁移学习经验中学习一个反思函数，将域对与迁移知识映射到性能提升比率。
• 反思函数通过结合 MMD、方差和判别准则作为组件来建模，以捕捉可迁移性。
• 采用基于核的方法表示反思函数，其超参数在广泛尺度范围内进行优化。
• 对于新的域对，该方法通过最大化所学反思函数的输出来优化迁移知识，从而引导实现最优迁移。
• 该框架整合了多种基础算法（例如 DIP、ITL、GFK、SIE），以生成反思函数的多样化训练经验。
• 该方法支持增量学习，可在获取新迁移经验时实现在线适应。

实验结果

研究问题

• RQ1 能否从过往迁移学习经验中学习到的反思函数有效预测迁移学习方法的性能提升？
• RQ2 引入多个组件（MMD、方差、判别）对反思函数的质量有何影响？
• RQ3 增加迁移学习经验的数量是否能提升 L2T 框架的泛化能力和性能？
• RQ4 L2T 是否能在多样化域迁移场景中超越单个最先进迁移学习算法？
• RQ5 核范围的选择如何影响反思函数中可迁移知识的学习？

主要发现

• 在 Office-Home 数据集上，L2T 实现了最高 1.1872 的性能提升比率，显著优于单个基线方法（如 DIP 的 1.0317 和 ITL 的 1.0359）。
• 当将全部八个基础算法整合进经验池时，L2T 实现了 1.1712× 的性能提升比率，证明了多样化训练经验的优势。
• 包含全部三个组件（MMD、方差、判别）的反思函数表现最佳，相比单组件变体性能提升达 0.0106。
• 将迁移学习经验数量从 1,000 增加到 5,000 后，平均性能增益持续提升，尤其在低数据场景下表现更优。
• 使用更宽的核范围（例如 [2⁻¹²η:2⁰.⁵η:2¹²η]）提升了反思函数的泛化能力，相比窄范围使性能增益最高提升 0.0106。
• 与所有基线相比，该框架均实现了统计上显著的性能提升（p < 0.05），所有测试配置的 p 值均稳定低于 0.01。