[论文解读] Asymmetric Tri-training for Unsupervised Domain Adaptation

Kuniaki Saito, Yoshitaka Ushiku+1 more|arXiv (Cornell University)|Feb 27, 2017

Domain Adaptation and Few-Shot Learning参考文献 33被引用 441

一句话总结

一个新颖的非对称三训练框架用于无监督域适应，使用两个分类器对目标数据进行伪标签，第三个面向目标的网络基于这些伪标签训练，在多个视觉和情感任务上达到最先进的结果。

ABSTRACT

Deep-layered models trained on a large number of labeled samples boost the accuracy of many tasks. It is important to apply such models to different domains because collecting many labeled samples in various domains is expensive. In unsupervised domain adaptation, one needs to train a classifier that works well on a target domain when provided with labeled source samples and unlabeled target samples. Although many methods aim to match the distributions of source and target samples, simply matching the distribution cannot ensure accuracy on the target domain. To learn discriminative representations for the target domain, we assume that artificially labeling target samples can result in a good representation. Tri-training leverages three classifiers equally to give pseudo-labels to unlabeled samples, but the method does not assume labeling samples generated from a different domain.In this paper, we propose an asymmetric tri-training method for unsupervised domain adaptation, where we assign pseudo-labels to unlabeled samples and train neural networks as if they are true labels. In our work, we use three networks asymmetrically. By asymmetric, we mean that two networks are used to label unlabeled target samples and one network is trained by the samples to obtain target-discriminative representations. We evaluate our method on digit recognition and sentiment analysis datasets. Our proposed method achieves state-of-the-art performance on the benchmark digit recognition datasets of domain adaptation.

研究动机与目标

• 在目标标签不可用时，强调对目标域进行判别性表示的需求。
• 引入一个非对称三训练架构以为目标样本生成伪标签。
• 在减轻噪声伪标签影响的同时学习目标域的判别表示。

提出的方法

• 共享特征提取器 F 将输入送入三个分类器：F1 和 F2 在源数据和伪标注的目标上训练；Ft 仅在伪标注的目标上训练。
• F1 和 F2 的三路损失包含一个权重约束项 |W1^T W2|，以鼓励多样化视角。
• 伪标注要求 F1 与 F2 达成一致并达到置信阈值 (0.9–0.95) 才加入到目标带标签集合中。
• 训练在用 S ∪ Tl 更新所有网络和用 Tl 更新 Ft 之间交替，以提升目标域判别表示。
• 在最后一层加入批归一化以帮助对齐源和目标的特征分布。
• 理论框架对 Ben-David 等人 (2010) 的界限进行调整，以考虑伪标注目标数据和域间发散。

实验结果

研究问题

• RQ1 当目标标签缺失但可自信地分配伪标签时，非对称三训练是否能提高目标域的准确性？
• RQ2 包含目标特定网络 Ft 与共享特征提取器 F 如何影响目标判别表示的学习？
• RQ3 引入伪标注的目标样本是否能降低域间差异并提高目标性能，超越仅分布匹配的方法？

主要发现

• 在视觉域自适应基准上取得最先进的结果，尤其是 MNIST→SVHN，相对于竞争对手提升超过 10%。
• 在 MNIST→MNIST-M、SVHN→MNIST、SYN DIGITS→SVHN、SYN SIGNS→GTSRB 任务上超越基线。
• 在 Amazon Reviews 情感迁移中，在大多数设定下优于 VFAE 和 DANN；BN 与梯度共享分析显示在多种配置下的有效性。
• t-SNE 可视化显示适应后目标样本变得更具判别性。
• 与仅源CNN相比，该方法降低了经验 A-distance，同时对比更强的域自适应基线仍提供更优的目标准确率。
• 三个网络 F1、F2、Ft 在性能上趋于收敛，表明共享的目标判别表示。