[论文解读] Adversarial Alignment of Class Prediction Uncertainties for Domain Adaptation

Jeroen Manders, Twan van Laarhoven+1 more|arXiv (Cornell University)|Apr 12, 2018

Domain Adaptation and Few-Shot Learning参考文献 37被引用 12

一句话总结

本文提出 LAD（基于深度特征的标签对齐），一种通过在预训练深度神经网络的特征上使用对抗学习，对齐源域与目标域之间预测不确定性的域自适应方法。通过训练一个域判别器以区分源域与目标域的标签不确定性分布，LAD 在不微调特征提取器的情况下提升了准确率与鲁棒性，在 Office-31 与 ImageCLEF-DA 数据集上取得了最先进性能。

ABSTRACT

We consider unsupervised domain adaptation: given labelled examples from a source domain and unlabelled examples from a related target domain, the goal is to infer the labels of target examples. Under the assumption that features from pre-trained deep neural networks are transferable across related domains, domain adaptation reduces to aligning source and target domain at class prediction uncertainty level. We tackle this problem by introducing a method based on adversarial learning which forces the label uncertainty predictions on the target domain to be indistinguishable from those on the source domain. Pre-trained deep neural networks are used to generate deep features having high transferability across related domains. We perform an extensive experimental analysis of the proposed method over a wide set of publicly available pre-trained deep neural networks. Results of our experiments on domain adaptation tasks for image classification show that class prediction uncertainty alignment with features extracted from pre-trained deep neural networks provides an efficient, robust and effective method for domain adaptation.

研究动机与目标

• 通过在源域与目标域之间对齐预测不确定性，解决无监督域自适应问题。
• 开发一种利用预训练深度神经网络提取可迁移特征而不进行微调的方法。
• 通过引入带类别权重的定制损失函数，惩罚预测中的过度自信，从而提升鲁棒性。
• 在多种预训练架构与域自适应基准上评估该方法。
• 证明在预测层面进行不确定性对齐在域自适应中是有效且高效的。

提出的方法

• 该方法使用标签分类器 f 在源域与目标域上预测类别概率。
• 训练一个域判别器 g，以区分源域与目标域预测的不确定性分布。
• 对抗性训练交替进行：在源域上最小化监督损失，同时最大化域判别器对源域与目标域不确定性输出的分类能力。
• 引入类别加权损失函数以稳定训练过程，并在类别分布不平衡时更注重鲁棒性。
• 该方法不微调预训练的特征提取器，因此计算效率较高。
• 使用 t-SNE 可视化比较基线模型与 LAD 模型的特征表示。

实验结果

研究问题

• RQ1 在不微调预训练特征的情况下，对预测不确定性进行对抗性对齐是否能提升域自适应性能？
• RQ2 在损失函数中引入类别权重如何影响在类别分布不平衡情况下的模型鲁棒性与准确率？
• RQ3 在多种预训练架构上，LAD 与现有域自适应方法相比，在准确率与效率方面表现如何？
• RQ4 不确定性对齐在多大程度上能带来更具域不变性的特征表示？
• RQ5 该方法能否在具有不同域偏移的多种迁移任务与数据集上实现良好泛化？

主要发现

• 在 Office-31 数据集上，使用 ResNet50 特征时，LAD 在应用类别权重后平均准确率达到 87.9%，而未使用时仅为 80.3%。
• 在 ImageCLEF-DA 数据集上，LAD 在使用类别权重时准确率为 86.5%，未使用时为 87.8%，表明权重的收益具有数据集依赖性，尤其在类别分布不平衡时更为显著。
• LAD 在 Office-31 与 ImageCLEF-DA 上均优于现有基线方法，取得了最先进性能，尤其在更具挑战性的迁移任务中表现更优。
• t-SNE 可视化显示，LAD 的特征比基线特征更具域不变性，且在不同类别间分离更清晰。
• 该方法计算效率高，使用单张 GPU 时，Office-31 的单个训练周期仅需 0.4 秒，ImageCLEF-DA 仅需 0.2 秒。
• 使用加权损失函数训练时，目标预测被高估，导致损失上升但准确率更稳定，表明鲁棒性得到提升。