[论文解读] Unifying Unsupervised Domain Adaptation and Zero-Shot Visual Recognition

Qian Wang, Penghui Bu+1 more|arXiv (Cornell University)|Mar 25, 2019

Domain Adaptation and Few-Shot Learning参考文献 37被引用 12

一句话总结

本文提出了一种统一框架，用于无监督和零样本视觉域适应，通过使用监督局部保持投影（SLPP）学习域不变且具有判别性的子空间。该方法引入了一种置信度感知的伪标签策略，实现迭代域对齐，在无监督和零样本学习设置下，于Office-Caltech、Office31和Office-Home数据集上均取得了最先进性能。

ABSTRACT

Unsupervised domain adaptation aims to transfer knowledge from a source domain to a target domain so that the target domain data can be recognized without any explicit labelling information for this domain. One limitation of the problem setting is that testing data, despite having no labels, from the target domain is needed during training, which prevents the trained model being directly applied to classify unseen test instances. We formulate a new cross-domain classification problem arising from real-world scenarios where labelled data is available for a subset of classes (known classes) in the target domain, and we expect to recognize new samples belonging to any class (known and unseen classes) once the model is learned. This is a generalized zero-shot learning problem where the side information comes from the source domain in the form of labelled samples instead of class-level semantic representations commonly used in traditional zero-shot learning. We present a unified domain adaptation framework for both unsupervised and zero-shot learning conditions. Our approach learns a joint subspace from source and target domains so that the projections of both data in the subspace can be domain invariant and easily separable. We use the supervised locality preserving projection (SLPP) as the enabling technique and conduct experiments under both unsupervised and zero-shot learning conditions, achieving state-of-the-art results on three domain adaptation benchmark datasets: Office-Caltech, Office31 and Office-Home.

研究动机与目标

• 为解决无监督域适应的局限性（即训练期间需要访问目标域数据），通过将问题形式化为广义零样本学习问题，其中仅目标类别子集被标注。
• 将无监督域适应与零样本学习统一于单一框架中，同时利用已标注的源域数据和有限的已标注目标域数据。
• 学习一个联合子空间，实现源域与目标域对齐，同时保留局部数据结构以提升泛化能力。
• 通过在已知目标类别上进行训练并推广至未见类别，实现样本外分类，且无需在训练期间使用测试数据。

提出的方法

• 该方法采用监督局部保持投影（SLPP）学习一个共享的低维子空间，使源域和目标域数据在该子空间中均具有域不变性且类别间分离良好。
• 在无监督域适应中，采用置信度感知的伪标签选择方案，对目标样本迭代分配高置信度伪标签，以提升域对齐效果。
• 通过在共享子空间中联合利用已标注的源域数据和伪标签化的目标域数据，同时优化域不变性和类别可分性。
• 在零样本学习中，模型在部分已标注目标类别上进行训练，并通过共享子空间结构推广至未见类别。
• 该方法使用深度特征（如ResNet50提取的特征），并在Office-Caltech、Office31和Office-Home数据集上进行评估。
• 消融研究对比了SLPP与LDA，证明了在子空间学习中保留局部数据结构的重要性。

实验结果

研究问题

• RQ1 在现实数据约束下，统一框架能否有效弥合无监督域适应与零样本视觉识别之间的差距？
• RQ2 在训练期间无需目标域测试样本的情况下，如何实现域对齐？
• RQ3 通过SLPP保留局部数据结构，是否能比传统方法（如LDA）在跨域分类中实现更好的泛化性能？
• RQ4 在仅使用部分已标注目标类别进行训练的情况下，模型能否在零样本设置下有效泛化至未见类别？

主要发现

• 所提出的框架在三个标准域适应基准数据集（Office-Caltech、Office31和Office-Home）上均取得了最先进性能。
• 在Office-Home数据集的零样本学习设置下，该方法实现了70.6%的调和平均准确率，优于基线方法和适配的零样本学习算法。
• 置信度感知的伪标签策略在无监督设置下显著提升了域对齐效果和模型泛化能力。
• SLPP在子空间学习中始终优于LDA，证明了保留局部数据结构的重要性。
• 适配的零样本学习方法（BiDiLEL和MR）在未见类别上的表现较差，凸显了此类方法在该设置下对类别级语义表示的局限性。
• 即使仅标注目标类别子集，该框架仍保持强大性能，验证了其在广义零样本学习中的有效性。