[论文解读] Discriminative Cross-Domain Feature Learning for Partial Domain Adaptation

Taotao Jing, Ming Shao+1 more|arXiv (Cornell University)|Aug 26, 2020

Domain Adaptation and Few-Shot Learning参考文献 45被引用 5

一句话总结

本文提出了一种用于部分域自适应的判别性跨域特征学习（DCDF）框架，通过加权跨域中心损失和加权跨域图传播，联合优化伪标签生成与特征学习。该方法有效将未标记的目标样本与相关源类别中心对齐，同时抑制无关源类别，从而在Office-31和Office&Caltech-10基准上实现最先进性能。

ABSTRACT

Partial domain adaptation aims to adapt knowledge from a larger and more diverse source domain to a smaller target domain with less number of classes, which has attracted appealing attention. Recent practice on domain adaptation manages to extract effective features by incorporating the pseudo labels for the target domain to better fight off the cross-domain distribution divergences. However, it is essential to align target data with only a small set of source data. In this paper, we develop a novel Discriminative Cross-Domain Feature Learning (DCDF) framework to iteratively optimize target labels with a cross-domain graph in a weighted scheme. Specifically, a weighted cross-domain center loss and weighted cross-domain graph propagation are proposed to couple unlabeled target data to related source samples for discriminative cross-domain feature learning, where irrelevant source centers will be ignored, to alleviate the marginal and conditional disparities simultaneously. Experimental evaluations on several popular benchmarks demonstrate the effectiveness of our proposed approach on facilitating the recognition for the unlabeled target domain, through comparing it to the state-of-the-art partial domain adaptation approaches.

研究动机与目标

• 解决源域类别多于目标域的局部域自适应挑战。
• 在知识迁移至目标域过程中，减少来自无关源类别的负迁移影响。
• 通过聚焦共享类别中心，改善源域与目标域之间的特征对齐。
• 提出一种联合优化策略，迭代精化伪标签与特征表示。
• 在有限或无标签的目标域数据上实现更好的泛化与识别性能。

提出的方法

• 提出一种加权跨域中心损失，促使未标记的目标样本以更高系数重建为相关源类别中心。
• 引入一种加权跨域图用于标签传播，其中边权重通过学习机制强调与相关源类别的连接。
• 设计一种类似EM的迭代优化过程，交替进行伪标签精化与特征嵌入更新。
• 采用概率重建框架，为语义相似的源中心分配更高的重建权重，为异常值分配更低的权重。
• 将域不变特征学习与类别特定对齐相结合，最小化边缘分布与条件分布的差异。
• 通过可学习超参数 αp 和 αc 平衡预测项与中心损失项的贡献。

实验结果

研究问题

• RQ1 如何在过滤无关源类别的同时，有效将未标记的目标样本与相关源类别中心对齐？
• RQ2 加权跨域图传播机制是否能提升部分域自适应中的标签迁移准确率？
• RQ3 所提出的加权中心损失在多大程度上减少了来自异常源类别的负迁移？
• RQ4 伪标签与特征学习之间的迭代优化策略如何提升整体识别性能？
• RQ5 所提出方法是否在标准部分域自适应基准上优于现有最先进方法？

主要发现

• 所提出的DCDF框架在Office-31和Office&Caltech-10基准上实现了最先进性能，优于现有部分域自适应方法。
• 适应后，目标样本与共享源类别中心（绿色圆圈）良好对齐，同时避免向无关源类别（红色圆圈）发散，如特征可视化所示。
• 适应后，同类别源特征与目标特征之间的余弦相似度显著提升，而不同类别间的相似度降低，表明域对齐效果改善。
• 加权图中学习到的类别权重能更有效地传播标签，异常类别权重逐渐减小或完全消失，证实了异常值的有效抑制。
• 该方法在大多数任务中仅需5次迭代即可收敛，表现出快速且稳定的优化特性。
• 性能对维度变化具有鲁棒性，在更高嵌入维度下略有提升，且超参数 αp 和 αc 在不同任务间表现出较低敏感性。