[论文解读] A Survey on Deep Transfer Learning

Chuanqi Tan, Fuchun Sun+4 more|arXiv (Cornell University)|Aug 6, 2018

Domain Adaptation and Few-Shot Learning参考文献 19被引用 37

一句话总结

本综述提出了一种深度迁移学习的全面分类法，将其分为四类：基于实例的方法、基于映射的方法、基于网络的方法以及基于对抗的方法。综述了关键技术，强调了深度神经网络在标签数据有限的领域间迁移知识的作用，并识别出残差网络、VGG 和 Inception 为高度可迁移的架构。

ABSTRACT

As a new classification platform, deep learning has recently received increasing attention from researchers and has been successfully applied to many domains. In some domains, like bioinformatics and robotics, it is very difficult to construct a large-scale well-annotated dataset due to the expense of data acquisition and costly annotation, which limits its development. Transfer learning relaxes the hypothesis that the training data must be independent and identically distributed (i.i.d.) with the test data, which motivates us to use transfer learning to solve the problem of insufficient training data. This survey focuses on reviewing the current researches of transfer learning by using deep neural network and its applications. We defined deep transfer learning, category and review the recent research works based on the techniques used in deep transfer learning.

研究动机与目标

• 为解决生物信息学和机器人学等领域中因数据收集成本高且耗时长而导致的标签数据不足问题。
• 将深度迁移学习形式化为一种放松源域与目标域之间独立同分布假设的解决方案。
• 首次系统性地将深度迁移学习方法划分为四种类别。
• 综述深度迁移学习技术的最新进展及其在多样化领域中的实际应用。
• 识别出开放挑战，如负迁移、可迁移性度量以及学习表征的物理可解释性。

提出的方法

• 基于领域与任务不匹配提出深度迁移学习的正式定义：$\mathcal{D}_s \neq \mathcal{D}_t$ 和/或 $\mathcal{T}_s \neq \mathcal{T}_t$。
• 将深度迁移学习分类为四类：基于实例的方法、基于映射的方法、基于网络的方法以及基于对抗的方法。
• 提出基于对抗的深度迁移学习方法，采用梯度反转层和域判别器来对齐跨域的特征分布。
• 采用联合损失函数 $\mathcal{L}_D = \mathcal{L}_c + \lambda \mathcal{L}_{adver}$ 以平衡分类准确率与域不变性。
• 利用预训练的深度神经网络（如 ResNet、VGG、Inception）作为特征提取器，将大规模源数据集中的知识迁移至小样本目标任务。
• 在无标签样本条件下，应用基于深度神经网络提取的特征进行无监督聚类，以发现新类别，如在引力波信号检测中的应用所示。

实验结果

研究问题

• RQ1 如何在生物信息学和机器人学等低资源领域中，有效缓解数据稀缺问题？
• RQ2 深度迁移学习的基本类别是什么？它们在机制和应用上如何不同？
• RQ3 哪些深度神经网络架构在下游任务中表现出最高的可迁移性？
• RQ4 如何利用对抗性训练学习域不变表征以提升跨域泛化能力？
• RQ5 深度迁移学习中的关键挑战（如负迁移和可迁移性度量）是什么？如何应对？

主要发现

• 基于网络的深度迁移学习方法，利用如 ResNet、VGG 和 Inception 等预训练模型，由于其分层特征学习能力和可迁移性，表现出优异性能。
• 基于对抗的方法，特别是采用梯度反转和域判别器的方法，显著提升了域对齐效果并减少了域偏移。
• 分类损失与域对抗损失的联合优化，实现了跨域与跨任务知识的同步迁移，尤其在标签稀疏场景下表现突出。
• 可迁移性受网络架构影响：某些模块对可迁移性的影响甚至超过对域内准确率的影响，表明网络架构设计显著影响知识迁移效果。
• 深度神经网络可作为强大的无监督特征提取器，实现无需任何标签样本的基于聚类的新信号类别发现，如引力波探测中的实例所示。
• LeNet、AlexNet、VGG、Inception 和 ResNet 被识别为特别有效的迁移学习选择，因其强大的特征表示能力和泛化能力。