[论文解读] Discriminative Label Consistent Domain Adaptation

Lingkun Luo, Liming Chen+2 more|arXiv (Cornell University)|Feb 21, 2018

Domain Adaptation and Few-Shot Learning参考文献 31被引用 10

一句话总结

本文提出了一种新型无监督域自适应方法——判别性标签一致域自适应（DLC-DA），该方法联合优化理论误差界中的三项：源域误差、域差异和标注函数差异。通过同时对齐特征分布、利用排斥力增强类间可分性，并通过稀疏线性回归强制执行标签一致性，DLC-DA在12个跨域图像分类基准上实现了最先进性能，准确率相比先前方法最高提升12个百分点。

ABSTRACT

Domain adaptation (DA) is transfer learning which aims to learn an effective predictor on target data from source data despite data distribution mismatch between source and target. We present in this paper a novel unsupervised DA method for cross-domain visual recognition which simultaneously optimizes the three terms of a theoretically established error bound. Specifically, the proposed DA method iteratively searches a latent shared feature subspace where not only the divergence of data distributions between the source domain and the target domain is decreased as most state-of-the-art DA methods do, but also the inter-class distances are increased to facilitate discriminative learning. Moreover, the proposed DA method sparsely regresses class labels from the features achieved in the shared subspace while minimizing the prediction errors on the source data and ensuring label consistency between source and target. Data outliers are also accounted for to further avoid negative knowledge transfer. Comprehensive experiments and in-depth analysis verify the effectiveness of the proposed DA method which consistently outperforms the state-of-the-art DA methods on standard DA benchmarks, i.e., 12 cross-domain image classification tasks.

研究动机与目标

• 为解决无监督域自适应中源域与目标域数据分布不同所带来的域偏移问题。
• 通过同时最小化理论误差界的三项分量——源误差、域差异和标注差异——来提升目标域的泛化能力。
• 通过显式增加共享特征空间中的类间距离来增强判别能力。
• 通过迭代标签回归确保源域与目标域之间的标签一致性，减少负面知识迁移。
• 考虑数据异常值以提升鲁棒性，并防止性能下降。

提出的方法

• 该方法通过判别性数据分布对齐（DDA）项学习一个潜在的共享特征子空间，利用低秩与稀疏表示框架最小化域差异。
• 引入排斥力项以增加共享子空间中的类间距离，从而增强判别性学习。
• 通过稀疏线性标签回归（LCR）项强制执行标签一致性，将源域标签回归到共享空间中的特征，同时最小化预测误差。
• 优化过程采用迭代方式进行，交替执行子空间学习与标签回归，并通过约束保持正交性与稳定性。
• 目标函数在统一框架下整合DDA与LCR项，并引入正则化项以控制过拟合并处理异常值。
• 该方法采用基于迹的优化方法，并施加正交性约束，以确保子空间保留判别性结构。

实验结果

研究问题

• RQ1 是否能够通过统一的域自适应框架，联合优化理论误差界中的全部三项分量，以提升目标域的泛化性能？
• RQ2 在域偏移场景下，显式增加共享特征空间中的类间距离对分类性能有何影响？
• RQ3 在源域与目标域之间强制执行标签一致性，在多大程度上能减少负面知识迁移？
• RQ4 该方法对异常值和分布不匹配的鲁棒性如何，特别是在类间与域间差异较大的情况下？
• RQ5 联合优化DDA与LCR项是否相比单独优化能带来互补性优势？

主要发现

• 所提出的DLC-DA方法在来自Office+CaltechA数据集的12个标准跨域图像分类基准上，持续优于最先进域自适应方法。
• 平均而言，DLC-DA相比次优方法DLC-DA(DDA)提升3个百分点准确率，相比DLC-DA(LCR)提升12个百分点，证明了DDA与LCR组件之间的互补性。
• 该方法仅经过2次交替优化迭代即达到最优性能，表明收敛速度快。
• 该方法在广泛的子空间维度范围（k ∈ [20, 200]）内保持稳定，显示出对超参数选择的鲁棒性。
• 在合成数据上的可视化结果表明，DLC-DA能有效对齐具有显著差异的数据分布，并且相比基线方法（如TCA、JDA、TJM）能更清晰地区分各类。
• 消融研究显示，DDA与LCR项的联合优化至关重要，单独使用任一组件均导致性能显著下降。