[论文解读] Label Efficient Learning of Transferable Representations across Domains and Tasks

Zelun Luo, Yuliang Zou+2 more|arXiv (Cornell University)|Nov 30, 2017

Domain Adaptation and Few-Shot Learning参考文献 58被引用 55

一句话总结

一个半监督框架，学习领域不变表示和语义转移，使在具有有限标签的情况下实现跨领域和跨任务的迁移，在 SVHN→MNIST 和 ImageNet→UCF-101 上得到验证。

ABSTRACT

We propose a framework that learns a representation transferable across different domains and tasks in a label efficient manner. Our approach battles domain shift with a domain adversarial loss, and generalizes the embedding to novel task using a metric learning-based approach. Our model is simultaneously optimized on labeled source data and unlabeled or sparsely labeled data in the target domain. Our method shows compelling results on novel classes within a new domain even when only a few labeled examples per class are available, outperforming the prevalent fine-tuning approach. In addition, we demonstrate the effectiveness of our framework on the transfer learning task from image object recognition to video action recognition.

研究动机与目标

• 在标签空间不同的情况下，学习一个可跨领域迁移的表示。
• 通过半监督和无监督信号降低目标域对标签的需求。
• 使用多层域对抗损失对齐源特征和目标特征的分布。
• 在标签集合不重叠时实现语义转移。
• 展示在视觉域（从图像到视频）和任务（从分类到动作识别）之间的迁移。

提出的方法

• 通过多层域判别器进行更深层次对齐的联合域和语义转移。
• 跨多个网络层对齐源和目标嵌入的域对抗目标。
• 使用未标注目标数据与标记数据之间相似性的熵最小化来实现语义转移，伴随 softmax 温度控制。
• 在标签空间差异时，通过无监督和有监督组件的跨类别相似性来转移信息。
• 在有标签目标数据上的基于度量的交叉熵损失，以稳定目标域学习。
• 总目标结合有监督目标损失、域转移损失和语义转移损失，并具有可调权重。

实验结果

研究问题

• RQ1 能否将从带标签的源域学习的共享嵌入有效地转移到标签稀疏或无标签、且标签空间不重叠的目标域？
• RQ2 多层域对抗训练是否能比单层方法在跨域对齐方面带来改进？
• RQ3 通过成对相似性和温度受控的 softmax 实现的语义转移，在源和目标标签空间不完全重叠时，是否能够实现迁移？
• RQ4 所提出的框架在显著不同的模态之间（如图像到视频）的迁移效果如何？
• RQ5 未标注目标数据和稀疏目标标签对最终目标性能有何影响？

主要发现

• 该方法在有很少的目标标签示例时，优于微调。
• 多层域对抗损失在目标分类表现和训练稳定性方面优于单层方法。
• 通过熵最小化和温度参数实现的语义转移，即使标签空间不重叠也能实现迁移。
• 该方法实现了从 ImageNet 图像到 UCF-101 视频动作识别的迁移，展示了跨任务的迁移能力。
• 在无监督域自适应实验中，多层方法的准确率高于对比的域对抗方法。