[论文解读] Close Yet Distinctive Domain Adaptation

Lingkun Luo, Xiaofang Wang+4 more|arXiv (Cornell University)|Apr 13, 2017

Domain Adaptation and Few-Shot Learning参考文献 19被引用 19

一句话总结

该论文提出了一种新颖的特征表示方法——紧密且具有判别性的域自适应（CDDA），通过最大均值差异（MMD）最小化域间差异，同时通过受费希尔线性判别分析启发的排斥力项增强类间可分性。该方法在36项跨域图像分类任务中达到最先进性能，总体平均准确率达到62.02%，相比先前方法最高提升达4.5个百分点。

ABSTRACT

Domain adaptation is transfer learning which aims to generalize a learning model across training and testing data with different distributions. Most previous research tackle this problem in seeking a shared feature representation between source and target domains while reducing the mismatch of their data distributions. In this paper, we propose a close yet discriminative domain adaptation method, namely CDDA, which generates a latent feature representation with two interesting properties. First, the discrepancy between the source and target domain, measured in terms of both marginal and conditional probability distribution via Maximum Mean Discrepancy is minimized so as to attract two domains close to each other. More importantly, we also design a repulsive force term, which maximizes the distances between each label dependent sub-domain to all others so as to drag different class dependent sub-domains far away from each other and thereby increase the discriminative power of the adapted domain. Moreover, given the fact that the underlying data manifold could have complex geometric structure, we further propose the constraints of label smoothness and geometric structure consistency for label propagation. Extensive experiments are conducted on 36 cross-domain image classification tasks over four public datasets. The comprehensive results show that the proposed method consistently outperforms the state-of-the-art methods with significant margins.

研究动机与目标

• 为解决现有域自适应方法仅减少域间差异但忽视保留或增强类间判别能力的局限性。
• 开发一种特征表示学习方法，同时拉近源域与目标域之间的距离，同时推开不同类别子空间之间的距离。
• 在标签传播中引入几何结构一致性与标签平滑性，以提升对未标注目标数据的泛化能力。
• 在多样化的跨域图像分类基准上验证所提方法的有效性。

提出的方法

• 该方法使用最大均值差异（MMD）最小化源域与目标域之间的边缘分布与条件分布差异，使两者在潜在空间中更接近。
• 引入排斥力项以最大化MMD空间中类间距离，通过将不同类别依赖的子空间相互推开，增强判别能力。
• 在标签平滑性与几何结构一致性约束下执行标签传播，以保持数据流形内在几何结构。
• 该方法实现为两种变体：CDDA(a)采用简单的神经网络预测器，CDDA(b)采用所提出的标签传播方法，两者均通过交替优化进行训练。
• 对正则化参数α、k（邻域大小）和λ（MMD权重）等超参数进行调优以获得最佳性能。

实验结果

研究问题

• RQ1 联合最小化域间差异并最大化类间可分性是否能提升域自适应性能？
• RQ2 引入排斥力项对共享潜在空间中学习特征的判别质量有何影响？
• RQ3 在标签传播中引入几何结构一致性与标签平滑性在多大程度上提升了模型在目标域上的泛化能力？
• RQ4 所提方法对超参数设置（如α、k和λ）的敏感性如何？

主要发现

• CDDA(b)（集成排斥力与标签传播）在36项跨域任务中实现62.02%的总体平均准确率，显著优于全部六种基线方法。
• 在COIL20数据集上，CDDA(b)达到99.65%的惊人准确率，展现出在无监督域自适应中的卓越性能。
• 仅使用排斥力组件的CDDA(a)相比JDA在总体平均准确率上提升约3个百分点，凸显其在增强判别能力方面的有效性。
• 与CDDA(a)相比，标签传播进一步提升约2个百分点的性能，表明几何与平滑性约束显著改善了泛化能力。
• 该方法在约10次迭代后即实现稳定收敛，且对超参数变化具有鲁棒性，尤其当在COIL20上将α设置为接近0.99时表现更佳。