[论文解读] Data Augmentation with norm-VAE for Unsupervised Domain Adaptation

Qian Wang, Fanlin Meng+1 more|arXiv (Cornell University)|Dec 1, 2020

Domain Adaptation and Few-Shot Learning参考文献 58被引用 7

一句话总结

该论文提出了一种新颖的无监督域自适应方法，结合选择性伪标签（naive-SPL）与一种新型生成模型——norm-VAE，用于高维特征空间中的数据增强。通过在源域标注数据与目标域伪标签数据上联合训练分类器，并利用norm-VAE生成的合成目标特征进行增强，该方法在Office-Caltech数据集上实现了93.4%的平均准确率，在ImageCLEF-DA上达到了90.4%，性能达到当前最先进水平。

ABSTRACT

We address the Unsupervised Domain Adaptation (UDA) problem in image classification from a new perspective. In contrast to most existing works which either align the data distributions or learn domain-invariant features, we directly learn a unified classifier for both domains within a high-dimensional homogeneous feature space without explicit domain adaptation. To this end, we employ the effective Selective Pseudo-Labelling (SPL) techniques to take advantage of the unlabelled samples in the target domain. Surprisingly, data distribution discrepancy across the source and target domains can be well handled by a computationally simple classifier (e.g., a shallow Multi-Layer Perceptron) trained in the original feature space. Besides, we propose a novel generative model norm-VAE to generate synthetic features for the target domain as a data augmentation strategy to enhance classifier training. Experimental results on several benchmark datasets demonstrate the pseudo-labelling strategy itself can lead to comparable performance to many state-of-the-art methods whilst the use of norm-VAE for feature augmentation can further improve the performance in most cases. As a result, our proposed methods (i.e. naive-SPL and norm-VAE-SPL) can achieve new state-of-the-art performance with the average accuracy of 93.4% and 90.4% on Office-Caltech and ImageCLEF-DA datasets, and comparable performance on Digits, Office31 and Office-Home datasets with the average accuracy of 97.2%, 87.6% and 67.9% respectively.

研究动机与目标

• 解决无监督域自适应（UDA）问题，无需显式域对齐或域不变特征学习。
• 探究在存在分布偏移的情况下，高维特征空间中的统一分类器是否能跨域实现良好泛化。
• 评估选择性伪标签（SPL）在最小化网络架构复杂度的前提下提升UDA性能的有效性。
• 设计一种新型生成模型norm-VAE，用于生成具有类别与域判别能力的合成特征，以实现数据增强。
• 证明通过合成特征进行数据增强可显著提升UDA性能，且无需复杂的域自适应模块。

提出的方法

• 提出naive-SPL：一种选择性伪标签策略，将源域训练分类器对未标注目标样本的高置信度预测结果作为伪标签。
• 引入norm-VAE：一种变分自编码器变体，其在潜在空间中用L2归一化的均值与方差参数替代KL散度正则化项。
• 在norm-VAE中使用域条件解码器，以生成既具有域特异性又具备类别判别能力的合成特征。
• 在真实源域数据与伪标签化目标数据的组合上联合训练统一分类器（如浅层MLP或CNN），并额外引入norm-VAE生成的合成目标特征。
• 在多个训练迭代（T=5–10）中对伪标签进行迭代优化，表明方法对超参数选择具有鲁棒性。
• 使用t-SNE可视化生成的特征，验证合成样本在源域与目标域中均与真实数据簇对齐。

实验结果

研究问题

• RQ1 在无显式域对齐或域不变特征学习的前提下，仅在高维特征空间中训练的简单统一分类器能否实现强大的UDA性能？
• RQ2 当直接应用于未标注目标数据时，选择性伪标签（SPL）在提升UDA性能方面的有效性如何？
• RQ3 像norm-VAE这样的新型生成模型能否生成增强分类器泛化能力的合成特征？
• RQ4 通过norm-VAE生成的特征进行数据增强，是否能在多样化的UDA基准数据集上实现一致的性能提升？
• RQ5 所提方法对超参数（如伪标签迭代次数）的敏感性如何？

主要发现

• naive-SPL方法在Office-Caltech数据集上实现了93.4%的最先进平均准确率，在ImageCLEF-DA上达到90.4%，优于众多复杂域自适应方法。
• norm-VAE-SPL方法在Office-Caltech、Office31、ImageCLEF-DA和Office-Home上分别实现0.6%、1.7%、1.0%和2.2%的性能提升，表明合成数据增强具有持续增益。
• 该方法在Digits数据集上实现了97.2%的平均准确率，与最先进方法相当，尽管仅使用了浅层两层MLP进行图像分类。
• naive-SPL与norm-VAE-SPL的性能对伪标签迭代次数具有鲁棒性，在T > 5时性能下降可忽略。
• t-SNE可视化结果表明，norm-VAE生成的合成特征形成具有类别判别性的簇，且在源域与目标域中均与真实数据簇对齐。
• 观察到合成数据与真实数据簇之间存在轻微错位，尤其在目标域中，这可能通过更完整地覆盖数据分布而增强模型鲁棒性。