[论文解读] Disjoint Label Space Transfer Learning with Common Factorised Space

Xiaobin Chang, Yongxin Yang+2 more|arXiv (Cornell University)|Dec 6, 2018

Domain Adaptation and Few-Shot Learning参考文献 40被引用 7

一句话总结

本文提出了一种统一的迁移学习框架——公共因子分解空间模型（Common Factorised Space Model, CFSM），用于不相交标签空间迁移学习（Disjoint Label Space Transfer Learning, DLSTL），其中源域和目标域无共享标签。通过在无监督因子分解损失和一种新颖的自顶向下图拉普拉斯正则化下学习一个共享的、低熵潜在因子空间，CFSM 即使在无监督和半监督设置下也能实现有效的知识迁移，在行人重识别和数字分类基准上优于现有方法。

ABSTRACT

In this paper, a unified approach is presented to transfer learning that addresses several source and target domain label-space and annotation assumptions with a single model. It is particularly effective in handling a challenging case, where source and target label-spaces are disjoint, and outperforms alternatives in both unsupervised and semi-supervised settings. The key ingredient is a common representation termed Common Factorised Space. It is shared between source and target domains, and trained with an unsupervised factorisation loss and a graph-based loss. With a wide range of experiments, we demonstrate the flexibility, relevance and efficacy of our method, both in the challenging cases with disjoint label spaces, and in the more conventional cases such as unsupervised domain adaptation, where the source and target domains share the same label-sets.

研究动机与目标

• 解决具有挑战性的无监督不相交标签空间迁移学习（DLSTL）问题，其中源域和目标域无共享标签，且目标域监督有限或缺失。
• 开发一种统一模型，有效处理无监督和半监督 DLSTL，以及标准无监督域自适应（UDA）任务。
• 发现一个共同的、判别性强的潜在因子空间，即使在标签空间不相交的情况下也能实现跨域知识迁移。
• 通过强制从公共因子分解空间到低层特征的一致性相似性结构，改善下游检索任务的特征表示。

提出的方法

• 引入一个在源域和目标域之间共享的公共因子分解空间（CFS）层，作为共享潜在表征层。
• 应用无监督因子分解损失，以鼓励 CFS 中的低熵、近似二值化编码，促进判别性潜在因子的发现。
• 提出一种基于图拉普拉斯的新型损失，对低层特征进行正则化，以保留高层 CFS 中学习到的相似性结构，实现自顶向下的知识迁移。
• 通过在源域和目标域数据上联合训练，对齐跨域的 CFS，同时使用重建损失进行正则化。
• 采用双流神经网络架构，包含共享的 CFS 层和分别用于源域与目标域的特征提取器。
• 模型通过联合训练端到端进行优化，损失函数包含监督损失（在源域上）、无监督因子分解损失和基于图的正则化损失。

实验结果

研究问题

• RQ1 统一模型能否有效处理无监督和半监督 DLSTL 任务，其中源域和目标域的标签空间不相交？
• RQ2 在无共享标签或目标域监督的情况下，如何发现并对齐跨域的判别性潜在因子？
• RQ3 从 CFS 层向下到早期特征强制执行相似性结构，是否能提升检索任务的特征迁移性能？
• RQ4 所提出的无监督因子分解损失和图正则化是否能超越标准分布对齐和基于自编码器的基线方法，在跨域适应中表现更优？
• RQ5 CFSM 框架在 DLSTL 之外，是否能泛化到标签空间对齐的标准 UDA 设置中？

主要发现

• CFSM 在无监督行人重识别基准上达到最先进性能，在 Market-to-Duke 设置下分别取得 49.8% R1 和 28.3% mAP 的成绩。
• 消融研究证实，图正则化损失贡献显著，若不使用该损失（CFSM−Graph），R1 仅达 46.8%，mAP 为 27.6%。
• 若将所提图损失替换为传统自底向上的拉普拉斯损失（CFSM+ClassicGraph），性能反而下降（R1 为 47.4%，mAP 为 26.1%），验证了自顶向下正则化的有效性。
• 可视化结果表明，CFSM 在目标域上诱导出低熵、近似二值化的激活，证实了在无监督条件下成功发现判别性潜在因子。
• 模型成功学习到共享的潜在属性（如“红色衣物”、“女性/纹理/携带包”等），这些属性在源域和目标域之间语义一致，尽管目标域无标注。
• 即使正则化仅应用于源域数据（Source+Regs），性能仍略有提升，表明正则化增强了表征的可迁移性，且其效果独立于领域自适应过程。