[论文解读] Exploiting Local Feature Patterns for Unsupervised Domain Adaptation

Jun Wen, Risheng Liu+4 more|arXiv (Cornell University)|Nov 12, 2018

Domain Adaptation and Few-Shot Learning参考文献 30被引用 5

一句话总结

该论文提出了一种新颖的无监督域自适应方法，通过结合域不变的局部特征模式与整体特征对齐，实现细粒度的跨域特征匹配。通过对抗性学习和稀疏性正则化联合优化整体与局部分布对齐，该方法在Office-31数据集上实现了最先进性能，减少了负迁移并提升了特征紧凑性。

ABSTRACT

Unsupervised domain adaptation methods aim to alleviate performance degradation caused by domain-shift by learning domain-invariant representations. Existing deep domain adaptation methods focus on holistic feature alignment by matching source and target holistic feature distributions, without considering local features and their multi-mode statistics. We show that the learned local feature patterns are more generic and transferable and a further local feature distribution matching enables fine-grained feature alignment. In this paper, we present a method for learning domain-invariant local feature patterns and jointly aligning holistic and local feature statistics. Comparisons to the state-of-the-art unsupervised domain adaptation methods on two popular benchmark datasets demonstrate the superiority of our approach and its effectiveness on alleviating negative transfer.

研究动机与目标

• 为解决现有无监督域自适应方法仅关注整体特征对齐的局限性，该局限可能导致可迁移性差和负迁移。
• 利用局部特征模式——相较于整体表征更具通用性和可迁移性——以改善域不变表征学习。
• 通过联合匹配跨域的整体与局部特征分布，实现在细粒度层面的对齐。
• 通过双层次对齐策略减少域差异：全局整体分布匹配与局部模式特定分布对齐。
• 通过实证验证不同卷积层中局部特征的有效性，以及方法对局部模式尺寸变化的鲁棒性。

提出的方法

• 该方法使用一组通用的局部特征模式将局部特征空间划分为分离良好的单元格。
• 通过域对抗损失对齐跨域聚合的局部特征，以强制实现整体分布的一致性。
• 引入条件域对抗损失，以对齐相对于学习到的局部模式的局部特征残差，从而实现细粒度的局部特征对齐。
• 应用稀疏性损失，以鼓励模型学习紧凑且分离良好的局部特征模式。
• 通过结合对抗项与稀疏性项的多目标损失函数，联合优化整体与局部特征对齐。
• 该方法采用VGG16主干网络实现，消融研究在不同卷积层的特征上进行，尤其关注conv5_3层。

实验结果

研究问题

• RQ1 在无监督域自适应中，局部特征模式是否比整体表征更具通用性和可迁移性？
• RQ2 联合对齐整体与局部特征分布是否能改善跨域特征对齐并减少域差异？
• RQ3 局部特征模式聚类与条件对抗对齐如何影响模型性能与鲁棒性？
• RQ4 CNN中哪个卷积层最适合基于局部特征的域自适应？特征深度如何影响性能？
• RQ5 该方法对局部特征模式尺寸的敏感度如何？模式复杂度与对齐有效性之间存在何种权衡？

主要发现

• 当使用conv5_3层特征时，所提方法在Office-31数据集上实现了72.46%的平均准确率，优于最先进方法。
• 采用整体与局部联合对齐的方法（Our H+L）在k=64局部模式尺寸下达到72.59%的平均准确率，对模式尺寸变化表现出极小敏感性，并在更大尺寸下略有提升。
• t-SNE可视化结果表明，与DANN和未适应模型相比，所提方法在整体与局部特征空间中均产生了显著更优对齐的源域与目标域表征。
• 采用局部特征模式学习的模型在局部特征空间中表现出更紧凑且分离良好的聚类，表明特征紧凑性与域不变性得到改善。
• 消融研究显示，更高层卷积层（尤其是conv5_3）表现更优，且性能从conv5_1到conv5_3呈稳定上升趋势。
• 该方法有效缓解了负迁移，体现在t-SNE图中域特定聚类的对齐性提升以及混淆减少。