[论文解读] DeepJDOT: Deep Joint Distribution Optimal Transport for Unsupervised Domain Adaptation

Bharath Bhushan Damodaran, Benjamin Kellenberger+3 more|arXiv (Cornell University)|Mar 27, 2018

Domain Adaptation and Few-Shot Learning参考文献 51被引用 372

一句话总结

DeepJDOT 通过同时优化深度表示和源域与目标域之间的联合分布最优传输耦合，学习一个共享潜在空间和一个目标域分类器，从而在无监督领域自适应任务中取得出色表现。

ABSTRACT

In computer vision, one is often confronted with problems of domain shifts, which occur when one applies a classifier trained on a source dataset to target data sharing similar characteristics (e.g. same classes), but also different latent data structures (e.g. different acquisition conditions). In such a situation, the model will perform poorly on the new data, since the classifier is specialized to recognize visual cues specific to the source domain. In this work we explore a solution, named DeepJDOT, to tackle this problem: through a measure of discrepancy on joint deep representations/labels based on optimal transport, we not only learn new data representations aligned between the source and target domain, but also simultaneously preserve the discriminative information used by the classifier. We applied DeepJDOT to a series of visual recognition tasks, where it compares favorably against state-of-the-art deep domain adaptation methods.

研究动机与目标

• 在目标标签不可用时，推动鲁棒的无监督领域自适应

提出的方法

• 在一个 CNN 中定义一个嵌入 g 和一个分类器 f，将输入映射到语义潜在空间
• 对嵌入表示和标签建立联合分布 OT 目标，最小化将源样本与目标样本耦合的代价
• 通过随机小批量来求解 OT 耦合以实现可扩展性，并将其集成到标准反向传播中
• 联合更新嵌入 g 和分类器 f，以同时最小化源监督和基于 OT 的对齐
• 可选地加入源域损失，以防止灾难性遗忘并在跨域保持判别性

实验结果

研究问题

• RQ1 如何将联合分布最优传输整合到深度模型中，以在语义上对齐源域和目标域？
• RQ2 在深度特征空间学习耦合是否相比在输入空间对齐能提升目标域的判别能力？
• RQ3 随机的小批量 OT 方法是否能够扩展到大型数据集，同时保持对齐质量？
• RQ4 将源域监督与 OT 目标结合是否能在自适应过程中防止灾难性遗忘？

主要发现

• DeepJDOT 在数字识别任务和 Office-Home 数据集上优于若干最先进的无监督领域自适应方法。
• 该方法学习对齐源域和目标分布并在共享潜在空间中最大化类别分离的嵌入。
• 一个随机优化过程通过在小批量中求解小的 OT 耦合实现可扩展训练。
• 消融研究表明，将联合嵌入/标签对齐与源监督结合比单独使用各组件取得更好结果。
• 可视化显示 DeepJDOT 在嵌入空间中实现源样本和目标样本的近乎完美对齐，并具有清晰的类别分离。