[论文解读] Discriminative and Geometry Aware Unsupervised Domain Adaptation

Lingkun Luo, Liming Chen+3 more|arXiv (Cornell University)|Dec 28, 2017

Domain Adaptation and Few-Shot Learning参考文献 35被引用 12

一句话总结

本文提出了一种新颖的无监督域自适应方法 DGA-DA，该方法在共享潜在空间中联合优化特征判别性与几何结构感知。通过整合类间分离的排斥力和保持几何结构的约束，DGA-DA 在 36 个图像分类基准上超越了最先进方法，相较于基线模型最高实现 8.94% 的准确率提升。

ABSTRACT

Domain adaptation (DA) aims to generalize a learning model across training and testing data despite the mismatch of their data distributions. In light of a theoretical estimation of upper error bound, we argue in this paper that an effective DA method should 1) search a shared feature subspace where source and target data are not only aligned in terms of distributions as most state of the art DA methods do, but also discriminative in that instances of different classes are well separated; 2) account for the geometric structure of the underlying data manifold when inferring data labels on the target domain. In comparison with a baseline DA method which only cares about data distribution alignment between source and target, we derive three different DA models, namely CDDA, GA-DA, and DGA-DA, to highlight the contribution of Close yet Discriminative DA(CDDA) based on 1), Geometry Aware DA (GA-DA) based on 2), and finally Discriminative and Geometry Aware DA (DGA-DA) implementing jointly 1) and 2). Using both synthetic and real data, we show the effectiveness of the proposed approach which consistently outperforms state of the art DA methods over 36 image classification DA tasks through 6 popular benchmarks. We further carry out in-depth analysis of the proposed DA method in quantifying the contribution of each term of our DA model and provide insights into the proposed DA methods in visualizing both real and synthetic data.

研究动机与目标

• 解决现有无监督域自适应（DA）方法仅关注分布对齐、忽视特征判别性与几何结构的局限性。
• 改善源域与目标域数据因传感器差异或光照变化等因素导致分布差异时的域偏移场景下的泛化能力。
• 构建一个统一框架，同时增强类间可分性并保持底层数据流形的内在几何结构。
• 通过消融实验与可视化，为判别性与几何结构感知在 DA 中的重要性提供理论与实证支持。

提出的方法

• 提出 CDDA（Close yet Discriminative DA），通过在共享特征空间中引入排斥力项，强制不同类别的样本相互分离。
• 提出 GA-DA（Geometry Aware DA），通过标签平滑一致性（LSC）与几何结构一致性（GSC）约束，保持数据流形的内在几何结构。
• 开发 DGA-DA 作为联合模型，整合 CDDA 的判别性正则化与 GA-DA 的几何结构保持能力，同步优化两项目标。
• 采用最大均值差异（MMD）作为分布对齐的损失函数，并结合判别性与几何约束，以最小化目标域误差的上界。
• 利用通过降维学习得到的共享潜在子空间，将源域与目标域数据投影至该空间，并联合优化对齐性、可分性与结构保持性。
• 应用具有几何感知平滑的标签传播方法以推断目标域标签，利用局部邻域一致性提升泛化能力。

实验结果

研究问题

• RQ1 在仅依赖分布对齐的基础上，增强特征判别性能在多大程度上能提升域自适应性能？
• RQ2 在无监督域自适应中，保持底层数据流形的几何结构在标签推理与泛化能力方面有何影响？
• RQ3 当判别性与几何结构感知在单一域自适应框架中结合时，其相对贡献如何？
• RQ4 所提出方法是否能在多样化的跨域图像分类任务中持续超越最先进方法？

主要发现

• 在 MNIST→USPS 基准上，DGA-DA 相较于 GA-DA 实现 6.94% 的准确率提升，证明了判别性带来的附加价值。
• 在相同基准上，CDDA 相较于 JDA 提升 8.94%，证实类间分离显著增强性能。
• 在 MNIST→USPS 上，GA-DA 相较于 JDA 提升 8.11%，验证了几何结构感知在标签传播中的重要性。
• 在相同任务中，DGA-DA 相较于 CDDA 提升 6.11%，表明判别性与几何结构的联合优化可获得最佳结果。
• 可视化结果表明，DGA-DA 成功保持了原始数据流形结构（如圆形与拉长簇）的同时，实现了紧密的类内紧凑性与强类间分离。
• 该方法在使用六个主流基准的 36 项图像分类任务中，持续超越 22 种最先进 DA 基线模型，验证了其鲁棒性与泛化能力。