[论文解读] Domain Adaptive Transfer Learning with Specialist Models

Jiquan Ngiam, Daiyi Peng+4 more|arXiv (Cornell University)|Nov 16, 2018

Domain Adaptation and Few-Shot Learning参考文献 29被引用 89

一句话总结

本文分析了预训练数据选择如何影响迁移学习，并提出了领域自适应迁移学习，该方法使用面向目标的重要性权重在相关子集上进行预训练，在细粒度数据集上取得了显著结果。

ABSTRACT

Transfer learning is a widely used method to build high performing computer vision models. In this paper, we study the efficacy of transfer learning by examining how the choice of data impacts performance. We find that more pre-training data does not always help, and transfer performance depends on a judicious choice of pre-training data. These findings are important given the continued increase in dataset sizes. We further propose domain adaptive transfer learning, a simple and effective pre-training method using importance weights computed based on the target dataset. Our method to compute importance weights follow from ideas in domain adaptation, and we show a novel application to transfer learning. Our methods achieve state-of-the-art results on multiple fine-grained classification datasets and are well-suited for use in practice.

研究动机与目标

• 研究预训练数据的选择如何影响跨不同目标数据集的迁移学习性能。
• 证明更大规模的预训练数据并不总是提升迁移，尤其是对细粒度任务。
• 引入领域自适应迁移学习，对源样本按其与目标数据集的相关性进行加权。
• 证明重要性加权的预训练能够达到甚至超过手工挑选的域特定子集。

提出的方法

• 将重要性权重定义为目标标签分布与源标签分布的比值 P_t(y)/P_s(y)。
• 在不使用目标标签的情况下，使用在源数据上训练的分类器对目标数据进行预测来估计 P_t(y)。
• 在预训练期间使用计算得到的重要性权重对源示例进行增重，并相应地抽样预训练数据集。
• 将自适应迁移与手工挑选的预训练子集和标准基线进行比较，使用大型源数据集（JFT、ImageNet）和标准模型（Inception v3、AmoebaNet-B）。
• 在计算 P_t(y) 时对 softmax 应用温度参数以稳定重要性加权。

实验结果

研究问题

• RQ1 是否通过目标相关的重要性对源预训练数据进行加权可以在多个目标数据集上提升迁移性能？
• RQ2 源域与目标域之间的领域相似性如何影响迁移结果及潜在的负迁移？
• RQ3 在细粒度任务上，领域自适应迁移学习与手工挑选或其他数据选择方法相比如何？
• RQ4 在使用领域自适应预训练时，较大模型是否仍保留相同的定性趋势？

主要发现

• 更多的预训练数据并不总是更好；对无关样本进行折扣的选择性子集可提升迁移。
• 领域自适应迁移学习在手工挑选的标签子集面前表现更好或具有竞争力，且可能需要更少的预训练数据就能获得强劲性能。
• 当源域与目标任务高度匹配时迁移效果最好；不匹配可能导致负迁移。
• 自适应迁移在若干细粒度数据集上提升了性能，并且即使使用大型模型，也与最先进的手工挑选子集相比具有竞争力，甚至更好。
• 大型模型（如 AmoebaNet-B）也显示出来自领域自适应预训练的相同定性收益，有时缩小了通用与特定子集之间的差距。