[论文解读] Curriculum based Dropout Discriminator for Domain Adaptation

Vinod K Kurmi, Vipul Bajaj+2 more|arXiv (Cornell University)|Jul 24, 2019

Domain Adaptation and Few-Shot Learning参考文献 50被引用 8

一句话总结

该论文提出了一种基于课程学习的Dropout判别器（C$\text{D}^{3}$A），一种新颖的方法，利用蒙特卡洛Dropout构建基于分布的判别器，在不增加模型参数数量的前提下，提升了源域与目标域之间的特征对齐效果。该方法在Amazon-DSLR数据集上实现了5.3%的准确率提升，达到当前最先进性能，并且相比MADA显著减少了参数量。

ABSTRACT

Domain adaptation is essential to enable wide usage of deep learning based networks trained using large labeled datasets. Adversarial learning based techniques have shown their utility towards solving this problem using a discriminator that ensures source and target distributions are close. However, here we suggest that rather than using a point estimate, it would be useful if a distribution based discriminator could be used to bridge this gap. This could be achieved using multiple classifiers or using traditional ensemble methods. In contrast, we suggest that a Monte Carlo dropout based ensemble discriminator could suffice to obtain the distribution based discriminator. Specifically, we propose a curriculum based dropout discriminator that gradually increases the variance of the sample based distribution and the corresponding reverse gradients are used to align the source and target feature representations. The detailed results and thorough ablation analysis show that our model outperforms state-of-the-art results.

研究动机与目标

• 为解决对抗性领域自适应中点估计判别器的局限性，提出一种基于分布的判别器。
• 减少如MADA等类别特定判别器在大规模类别数据集上带来的模型复杂度与可扩展性问题。
• 利用Dropout作为集成学习的一种形式，提升跨领域特征表示的不变性。
• 开发一种可扩展且参数高效的领域自适应方法，确保在多种领域自适应基准上保持高性能。

提出的方法

• 该方法利用蒙特卡洛Dropout生成一组判别器，形成基于分布的反馈，用于优化特征提取器的训练。
• 采用课程学习策略，逐步增加训练过程中Dropout样本的数量，以稳定并提升自适应效果。
• 判别器通过对抗方式训练，以区分源域与目标域的特征，而特征提取器则被优化以欺骗判别器，从而促进领域不变表示的学习。
• 该方法仅使用一个判别器网络配合Dropout，避免了如MADA等方法中因类别特定设计导致的参数线性增长。
• 利用基于Dropout的集成网络的反向梯度，更稳健地对齐源域与目标域的特征分布。
• 该方法采用端到端训练，结合在有标签源数据上的分类损失与基于Dropout的判别器生成的对抗损失。

实验结果

研究问题

• RQ1 基于蒙特卡洛Dropout生成的分布判别器，是否能相比点估计判别器提升领域自适应性能？
• RQ2 基于课程学习的Dropout采样训练策略，是否能增强特征表示对齐效果与模型稳定性？
• RQ3 与SOTA方法如MADA和GRL相比，该方法在性能与参数效率方面表现如何？
• RQ4 通过代理$\mathcal{A}$-距离度量，该模型在多大程度上减少了领域差异？
• RQ5 该方法在多个领域自适应基准上的性能提升是否具有统计显著性？

主要发现

• C$\text{D}^{3}$A在Amazon-DSLR领域自适应任务上相比基线方法GRL实现了5.3%的准确率提升。
• 与仅使用源域、GRL和MADA等基线相比，该模型更有效地降低了代理$\mathcal{A}$-距离，表明其具有更强的领域不变性。
• C$\text{D}^{3}$A在Office-31数据集上仅使用约5900万参数，显著少于MADA的约9800万参数，同时实现了SOTA性能。
• 该模型在训练达到一定轮次后性能趋于饱和，表明收敛稳定，而D$\text{D}^{3}$A在过度采样时性能反而下降。
• 统计显著性检验表明，C$\text{D}^{3}$A在0.05显著性水平下显著优于GRL和仅使用源域的基线方法。
• t-SNE可视化结果表明，C$\text{D}^{3}$A所学习的特征比GRL方法更具领域不变性，验证了其更优的特征对齐能力。