[论文解读] Deep Reconstruction-Classification Networks for Unsupervised Domain Adaptation

Muhammad Ghifary, W. Bastiaan Kleijn+3 more|arXiv (Cornell University)|Jul 12, 2016

Domain Adaptation and Few-Shot Learning参考文献 42被引用 58

一句话总结

本文提出深度重建-分类网络（DRCN），一种用于无监督域适应的深度学习模型，通过共享编码器联合学习源域分类与目标域数据重建。DRCN 在跨域物体识别任务中，相较于最先进方法最高提升 8% 的准确率，其关键在于学习到同时捕捉判别性特征与目标域结构的共享表征。

ABSTRACT

In this paper, we propose a novel unsupervised domain adaptation algorithm based on deep learning for visual object recognition. Specifically, we design a new model called Deep Reconstruction-Classification Network (DRCN), which jointly learns a shared encoding representation for two tasks: i) supervised classification of labeled source data, and ii) unsupervised reconstruction of unlabeled target data.In this way, the learnt representation not only preserves discriminability, but also encodes useful information from the target domain. Our new DRCN model can be optimized by using backpropagation similarly as the standard neural networks. We evaluate the performance of DRCN on a series of cross-domain object recognition tasks, where DRCN provides a considerable improvement (up to ~8% in accuracy) over the prior state-of-the-art algorithms. Interestingly, we also observe that the reconstruction pipeline of DRCN transforms images from the source domain into images whose appearance resembles the target dataset. This suggests that DRCN's performance is due to constructing a single composite representation that encodes information about both the structure of target images and the classification of source images. Finally, we provide a formal analysis to justify the algorithm's objective in domain adaptation context.

研究动机与目标

• 解决视觉物体识别中的数据集偏差问题，即标注的源域数据与未标注的目标域数据来自不同但相关的领域。
• 克服传统监督学习的局限性，即当训练数据与测试数据来自不同领域时模型性能会下降。
• 开发一种可扩展的基于深度学习的域适应方法，利用未标注的目标域数据提升泛化能力，而无需目标域标签。
• 设计一个多任务学习框架，同时优化源域分类与目标域重建，以学习共享的、域不变的表征。
• 通过理论分析证明算法目标的合理性，将其与半监督学习联系起来，并验证仅使用目标数据进行重建的合理性。

提出的方法

• 提出一种具有共享编码器的深度卷积神经网络架构，同时用于分类与重建任务，同时保持独立的解码器。
• 采用交替优化策略进行模型训练：在标注的源域数据上进行监督学习以实现分类，在未标注的目标域数据上进行无监督学习以实现重建。
• 使用联合损失函数，结合交叉熵损失（用于源域标签预测）与重建损失（如 L2 或 L1 损失），并通过超参数 λ 进行加权。
• 利用重建能力，通过将源图像转换为更接近目标域外观的表征，隐式对齐源域与目标域的分布。
• 采用反向传播进行端到端优化，支持可扩展性与 GPU 并行计算。
• 理论分析表明，在协变量偏移假设下，DRCN 的目标函数近似于半监督学习框架，从而支持仅使用目标数据进行重建的合理性。

实验结果

研究问题

• RQ1 与标准的预训练-微调策略相比，联合学习分类与重建是否能提升域适应性能？
• RQ2 在共享表征中重建目标域风格的特征，在多大程度上能提升对目标域的泛化能力？
• RQ3 仅使用未标注的目标数据进行重建任务在理论上是否合理？其与半监督学习原理有何关联？
• RQ4 在跨域物体识别基准测试中，DRCN 模型相较于最先进域适应方法在准确率与可扩展性方面表现如何？
• RQ5 重建后的源图像外观是否与目标域相似，表明共享表征中实现了有效的域对齐？

主要发现

• DRCN 在多个跨域物体识别任务中，相较于先前最先进域适应算法，准确率最高提升 8%。
• 通过 DRCN 模型重建的源图像在视觉上与目标域相似，表明共享表征中实现了有效的域对齐。
• DRCN 超越了标准的预训练-微调策略，证明交替进行的联合训练在无监督域适应中更为有效。
• 理论分析确认，在协变量偏移假设下，DRCN 的目标函数与半监督学习框架一致，支持仅使用目标数据进行重建。
• 消融实验与理论分析表明，在重建过程中引入未标注的源数据不仅无法提升性能，甚至可能降低性能。
• 该模型的成功归因于学习到一种复合表征，其同时编码了源域标签结构与目标域统计特性。