[论文解读] Improve Unsupervised Domain Adaptation with Mixup Training
本文提出 IIMT 框架，通过特征级一致性正则项和领域对抗学习，在跨领域与域内混合训练中加强无监督域适应，覆盖视觉与 HAR 任务。
Unsupervised domain adaptation studies the problem of utilizing a relevant source domain with abundant labels to build predictive modeling for an unannotated target domain. Recent work observe that the popular adversarial approach of learning domain-invariant features is insufficient to achieve desirable target domain performance and thus introduce additional training constraints, e.g. cluster assumption. However, these approaches impose the constraints on source and target domains individually, ignoring the important interplay between them. In this work, we propose to enforce training constraints across domains using mixup formulation to directly address the generalization performance for target data. In order to tackle potentially huge domain discrepancy, we further propose a feature-level consistency regularizer to facilitate the inter-domain constraint. When adding intra-domain mixup and domain adversarial learning, our general framework significantly improves state-of-the-art performance on several important tasks from both image classification and human activity recognition.
研究动机与目标
- 解决将源域和目标域约束分开处理的域对抗方法的局限性。
- 利用 mixup 创建跨域监督并强制预测的线性性。
- 引入特征级一致性正则项以在大域差异情况下辅助混合训练。
- 在视觉和 HAR 域适应基准上证明优于最新方法的改进。
提出的方法
- 在源域和目标域之间应用跨域 mixup，并以推断出的目标标签作为弱监督。
- 通过对目标样本进行增强、对预测结果取平均并使用温度控制的 softmax 进行锐化来计算目标虚拟标签。
- 强制执行跨域标签级混合损失和跨域特征级混合损失（L_q 与 L_z）。
- 加入领域对抗损失以鼓励领域不变特征（DANN）。
- 在源域内和目标域内分别进行域内 mixup，使用标签级混合（L_s 与 L_t）。
- 将所有损失整合为带有可调权重的最终目标，并对目标特定损失的权重进行逐步提升。
实验结果
研究问题
- RQ1跨域 mixup 监督是否能超越传统域对抗训练，在未标记目标域上提升泛化？
- RQ2在域差异较大时，特征级一致性正则项是否有助于实现有效的 mixup？
- RQ3跨域与域内 mixup 组件如何在图像分类和 HAR 任务上影响性能？
主要发现
- IIMT 在若干视觉无监督域适应基准和 HAR 任务上显著优于现有方法。
- 在消融实验中，跨域 mixup 和域内 mixup 组件各自带来提升，综合跨域混合带来显著改进。
- 单独的域内 mixup 就可与 VAT 等其他 Lipschitz 约束方法在稳定预测方面相媲美。
- 该框架在多样化域上显示出稳健的改进，包括 MNIST、SVHN、CIFAR- STL 与 OPPORTUNITY HAR 数据集。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。