[论文解读] Domain Alignment with Triplets

Weijian Deng, Liang Zheng+1 more|arXiv (Cornell University)|Dec 3, 2018

Domain Adaptation and Few-Shot Learning参考文献 40被引用 10

一句话总结

该论文提出了一种名为相似性约束对齐（Similarity-Constrained Alignment, SCA）的新颖无监督域自适应方法，通过保留源域与目标域之间类别级别的语义关系，提升域不变特征学习。通过结合基于联合分布匹配的域级对齐与利用伪标签目标数据的三元组损失相似性约束，SCA在Office-31数据集上实现了优越性能，相较于最先进基线方法，将语义错位现象减少，并将准确率最高提升5.7%。

ABSTRACT

Deep domain adaptation methods can reduce the distribution discrepancy by learning domain-invariant embedddings. However, these methods only focus on aligning the whole data distributions, without considering the class-level relations among source and target images. Thus, a target embeddings of a bird might be aligned to source embeddings of an airplane. This semantic misalignment can directly degrade the classifier performance on the target dataset. To alleviate this problem, we present a similarity constrained alignment (SCA) method for unsupervised domain adaptation. When aligning the distributions in the embedding space, SCA enforces a similarity-preserving constraint to maintain class-level relations among the source and target images, i.e., if a source image and a target image are of the same class label, their corresponding embeddings are supposed to be aligned nearby, and vise versa. In the absence of target labels, we assign pseudo labels for target images. Given labeled source images and pseudo-labeled target images, the similarity-preserving constraint can be implemented by minimizing the triplet loss. With the joint supervision of domain alignment loss and similarity-preserving constraint, we train a network to obtain domain-invariant embeddings with two critical characteristics, intra-class compactness and inter-class separability. Extensive experiments conducted on the two datasets well demonstrate the effectiveness of SCA.

研究动机与目标

• 为解决无监督域自适应中的语义错位问题，即域不变嵌入可能错误地对齐不同类别的图像。
• 通过在嵌入空间中保持类内紧凑性和类间可分性，提升分类器在目标域上的泛化能力。
• 开发一种在无需目标标签的情况下强制跨域保持相似性的方法。
• 证明结合域级对齐与基于三元组损失的度量学习可提升迁移性能。

提出的方法

• 该方法使用联合分布匹配（JMMD）在嵌入空间中对齐源域与目标域的数据分布。
• 引入基于三元组损失的相似性保持约束，确保同一类别的嵌入被拉近，不同类别的嵌入被推开。
• 利用在有标签源数据上训练的分类器为目标图像分配伪标签，仅使用高置信度预测结果进行训练。
• 最终模型通过端到端训练，采用联合损失函数：域混淆损失（JMMD）与用于度量学习的三元组损失。
• 三元组损失强制正样本对（同类别源域与目标域图像）在嵌入空间中比负样本对（不同类别对）更接近。
• 该方法可与其它域对齐技术兼容，例如对抗性自适应（如RevGrad），并可与之结合使用。

实验结果

研究问题

• RQ1 在源域与目标域之间保留类别级别语义关系是否能提升无监督域自适应的性能？
• RQ2 相似性保持约束如何影响嵌入在域级与类别级上的对齐效果？
• RQ3 在存在伪标签目标数据的情况下，域级对齐与度量学习之间的最优权衡是什么？
• RQ4 所提出的方法能否有效结合现有的域对齐技术（如对抗性训练或差异最小化）？

主要发现

• 当仅应用相似性保持约束时，SCA在Office-31上的平均准确率较基线提升4.5%。
• 在Office-31的A→W、W→A和D→A任务中，SCA-RevGrad（SCA与对抗性自适应结合）相较于单独使用RevGrad，分别实现+5.7%、+4.0%和+5.1%的性能提升。
• 与基线和仅使用域级对齐的方法相比，使用SCA特征时，通过A-距离测量的分布差异显著降低。
• 当权重超参数β = 1时，域对齐与相似性约束之间的最优平衡得以实现，而更高值（如β = 5）会导致性能下降。
• t-SNE可视化结果表明，SCA嵌入保持了清晰的类间分离与域对齐，相较于标准域对齐方法，显著减少了语义错位。
• 该方法通过有效利用伪标签目标数据来强制跨域度量一致性，展现出强大的泛化能力。