[论文解读] Unsupervised Domain Adaptation with Residual Transfer Networks

Mingsheng Long, Zhu Han+2 more|arXiv (Cornell University)|Feb 14, 2016

Domain Adaptation and Few-Shot Learning参考文献 31被引用 1,008

一句话总结

本论文提出 Residual Transfer Networks (RTN)，通过将源-目标分类器差异建模为残差函数并通过张量 MMD 对齐多层特征，在无监督域自适应中同时学习可迁移特征和自适应分类器，在标准基准上达到最先进的结果。

ABSTRACT

The recent success of deep neural networks relies on massive amounts of labeled data. For a target task where labeled data is unavailable, domain adaptation can transfer a learner from a different source domain. In this paper, we propose a new approach to domain adaptation in deep networks that can jointly learn adaptive classifiers and transferable features from labeled data in the source domain and unlabeled data in the target domain. We relax a shared-classifier assumption made by previous methods and assume that the source classifier and target classifier differ by a residual function. We enable classifier adaptation by plugging several layers into deep network to explicitly learn the residual function with reference to the target classifier. We fuse features of multiple layers with tensor product and embed them into reproducing kernel Hilbert spaces to match distributions for feature adaptation. The adaptation can be achieved in most feed-forward models by extending them with new residual layers and loss functions, which can be trained efficiently via back-propagation. Empirical evidence shows that the new approach outperforms state of the art methods on standard domain adaptation benchmarks.

研究动机与目标

• 在目标标签不可用且跨域分布存在差异时，推动域自适应研究。
• 放宽共享分类器的假设，并将分类器差异建模为残差函数。
• 开发一个端到端的深度体系结构，联合学习特征适配和分类器适配。
• 利用基于张量积的多层特征融合和 RKHS 嵌入来对齐分布。
• 在标准域自适应基准上展示相对于最先进方法的经验提升。

提出的方法

• 通过残差函数 Δf(x) 将源分类器与目标分类器连接起来，扩展带有残差传递块的 CNN。
• 通过张量积融合多层特征并在不同域之间最小化张量 MMD 来执行特征适配。
• 将融合后的特征嵌入再生核希尔伯特空间并应用高斯核进行基于 MMD 的分布匹配。
• 引入一个熵最小化项，通过在目标数据上促进低密度分离来优化目标分类器。
• 通过反向传播将 RTN 端到端训练，将源监督、张量 MMD 与熵惩罚结合起来，使用折衷参数 λ 和 γ。

实验结果

研究问题

• RQ1 在无监督域自适应中，残差函数是否能够有效地桥接源分类器和目标分类器？
• RQ2 相比逐层 MMD 惩罚，多层特征融合和张量 MMD 是否提供更优的域对齐？
• RQ3 结合熵最小化是否能够提升目标分类器与目标分布的对齐？
• RQ4 端到端学习的可迁移特征与自适应分类器在标准基准上与既有域自适应方法相比的表现如何？
• RQ5 在存在大域转移的困难迁移任务中，残余分类器自适应的影响如何？

主要发现

方法	A→W	D→W	W→D	A→D	D→A	W→A	Avg
RTN (mmd+ent+res)	73.3	96.8	99.6	71.0	50.5	51.0	73.7

• RTN 在标准域自适应基准上优于最先进方法，尤其是在更难的迁移任务如 A→W 和 C→W 上。
• 单一的张量 MMD 惩罚用于多层特征适配，相较于多层特定惩罚，提升了模型选择和性能。
• 熵最小化通过在目标数据上促成低密度分离，显著提升了性能。
• 残余分类器自适应（同时包含熵和残差连接）在 RTN 变体中取得最佳总体结果。
• RTN 表明端到端地同时自适应特征与分类器比仅特征自适应更安全、更有效的域自适应。