[论文解读] Learning Smooth Representation for Unsupervised Domain Adaptation

Guanyu Cai, Lianghua He+3 more|arXiv (Cornell University)|May 26, 2019

Domain Adaptation and Few-Shot Learning参考文献 65被引用 6

一句话总结

本文提出了一种新型无监督域自适应方法——平滑表示域自适应（SRDA），该方法利用局部平滑差异（LSD）来强制实现特征表示的利普希茨连续性。通过在数学上将利普希茨约束与误差界缩减相联系，并针对样本量、维度和批量大小进行优化，SRDA 在 VisDA、SVHN→MNIST 和 SYNSIG→GTSRB 等基准上实现了最先进性能，对超参数变化具有鲁棒性，并引入了一种与模型精度强相关的新型度量（LSD）。

ABSTRACT

Typical adversarial-training-based unsupervised domain adaptation methods are vulnerable when the source and target datasets are highly-complex or exhibit a large discrepancy between their data distributions. Recently, several Lipschitz-constraint-based methods have been explored. The satisfaction of Lipschitz continuity guarantees a remarkable performance on a target domain. However, they lack a mathematical analysis of why a Lipschitz constraint is beneficial to unsupervised domain adaptation and usually perform poorly on large-scale datasets. In this paper, we take the principle of utilizing a Lipschitz constraint further by discussing how it affects the error bound of unsupervised domain adaptation. A connection between them is built and an illustration of how Lipschitzness reduces the error bound is presented. A extbf{local smooth discrepancy} is defined to measure Lipschitzness of a target distribution in a pointwise way. When constructing a deep end-to-end model, to ensure the effectiveness and stability of unsupervised domain adaptation, three critical factors are considered in our proposed optimization strategy, i.e., the sample amount of a target domain, dimension and batchsize of samples. Experimental results demonstrate that our model performs well on several standard benchmarks. Our ablation study shows that the sample amount of a target domain, the dimension and batchsize of samples indeed greatly impact Lipschitz-constraint-based methods' ability to handle large-scale datasets. Code is available at https://github.com/CuthbertCai/SRDA.

研究动机与目标

• 解决基于对抗训练的无监督域自适应方法在复杂或大规模数据集上存在高域偏移时的不稳定性和泛化能力差的问题。
• 为利普希茨约束如何在无监督域自适应中减少误差界提供数学上的解释。
• 设计一种实用的优化策略，明确考虑样本量、输入维度和批量大小等关键因素对利普希茨约束的稳定性与有效性的影响，这些因素在以往基于利普希茨的方法中常被忽略。
• 提出一种新度量——局部平滑差异（LSD），其与模型精度高度相关，可作为损失值之外的更优训练监督手段。
• 证明在不使用对抗训练的情况下，利普希茨约束可比传统的 GAN 风格域混淆方法更有效且更稳定，尤其在大规模和复杂数据集上。

提出的方法

• 提出一种局部平滑差异（LSD）度量，用于在目标域上以逐点方式衡量模型特征表示的利普希茨性。
• 推导出利普希茨约束与无监督域自适应中误差界之间的理论联系，表明最小化 LSD 可降低泛化误差。
• 提出一种新颖的优化策略，明确考虑目标域样本量、输入维度和批量大小对利普希茨约束的稳定性与有效性的影响。
• 使用 FGSM、VAT 和随机扰动生成对抗样本用于训练，对应变体分别标记为 SRDA_F、SRDA_V 和 SRDA_G。
• 采用二次插值方法在各训练周期内对准确率与 LSD 值进行对齐，以实现可靠的性能度量。
• 在多种模型（包括 MCD）上验证 LSD 度量，结果表明其与测试准确率呈负相关，证明其作为训练监控工具的有效性。

实验结果

研究问题

• RQ1 为何利普希茨约束能提升无监督域自适应中的泛化能力？这一机制如何与误差界形成正式关联？
• RQ2 目标域的样本量、输入维度和批量大小如何影响基于利普希茨约束的无监督域自适应方法的性能？
• RQ3 局部平滑差异（LSD）能否作为可靠且可解释的度量，用于监控无监督域自适应中的训练进度，尤其是在对抗损失不稳定时？
• RQ4 在大规模和复杂数据集上，无对抗训练的利普希茨约束是否在鲁棒性和准确率方面优于传统的域混淆方法？
• RQ5 所提出方法在多种域偏移场景下（包括跨数据集和真实到仿真场景）的表现如何？

主要发现

• 所提方法 SRDA 在 VisDA、SVHN→MNIST 和 SYNSIG→GTSRB 基准上实现了最先进准确率，相较于先前方法在 SVHN→MNIST 上的准确率提升超过 6%。
• SRDA G（基于 VAT）在 FGSM 攻击的 ε 值变化（ε ∈ {0.3, 0.7}）下表现出最稳定的性能，准确率下降最小，验证了其鲁棒性。
• 局部平滑差异（LSD）度量与模型准确率呈强负相关：随着 LSD 降低，准确率提升，验证了 LSD 作为可靠性能代理指标的有效性。
• 在 MCD 模型上，当准确率从 62.42% 提升至 71.82% 时，LSD 从约 0.6 降低至约 0.3，证明 LSD 在不同超参数设置下评估无监督域自适应模型的有效性。
• 该方法在小数据集（如 Office-31，仅 4,110 张图像）上表现失败，表明基于利普希茨约束的方法需要足够多的目标样本才能检测敏感区域并形成稳健的决策边界。
• 消融研究证实，样本量、维度和批量大小显著影响基于利普希茨的无监督域自适应方法的有效性，所提出的优化策略显著提升了大规模数据上的稳定性和性能。