[论文解读] Domain-Adversarial Neural Networks

Hana Ajakan, Pascal Germain+3 more|arXiv (Cornell University)|Dec 15, 2014

Anomaly Detection Techniques and Applications参考文献 18被引用 246

一句话总结

本文提出领域对抗性神经网络（DANN），一种通过对抗损失训练神经网络以学习领域不变表征的深度学习框架，从而提升领域自适应性能。该方法在情感分析基准上表现优于标准神经网络和SVM，尤其在结合广义堆叠去噪自编码器（mSDA）时表现更优。

ABSTRACT

We introduce a new representation learning algorithm suited to the context of domain adaptation, in which data at training and test time come from similar but different distributions. Our algorithm is directly inspired by theory on domain adaptation suggesting that, for effective domain transfer to be achieved, predictions must be made based on a data representation that cannot discriminate between the training (source) and test (target) domains. We propose a training objective that implements this idea in the context of a neural network, whose hidden layer is trained to be predictive of the classification task, but uninformative as to the domain of the input. Our experiments on a sentiment analysis classification benchmark, where the target domain data available at training time is unlabeled, show that our neural network for domain adaption algorithm has better performance than either a standard neural network or an SVM, even if trained on input features extracted with the state-of-the-art marginalized stacked denoising autoencoders of Chen et al. (2012).

研究动机与目标

• 解决机器学习中的领域偏移问题，即训练数据与测试数据来自不同但相关的分布。
• 开发一种表征学习算法，实现从有标签源领域到无标签目标领域的有效迁移。
• 将领域自适应的理论洞见——即良好表征应在不同领域间不可区分——融入深度神经网络框架。
• 在目标标签训练期间不可用的半监督学习设置中提升泛化能力。

提出的方法

• 引入领域对抗性训练目标，联合优化分类准确率与隐藏层中的领域不变性。
• 训练一个具有两个输出头的神经网络：一个用于预测源域标签，另一个用于预测输入的领域（源域或目标域）。
• 使用梯度反转技术，将领域判别器的梯度反向传播，促使特征提取器学习对领域信息不敏感的表征。
• 将领域对抗正则化器应用于隐藏层，最小化领域分类器区分源域与目标域样本的能力。
• 将DANN与广义堆叠去噪自编码器（mSDA）结合，以进一步提升表征质量与领域不变性。
• 使用代理度量Proxy A-distance（PAD）来实证验证DANN是否降低了源域与目标域表征之间的统计差异。

实验结果

研究问题

• RQ1 能否利用对抗训练在深度神经网络中学习到领域不变表征，以实现有效的领域自适应？
• RQ2 在隐藏层强制实现领域不变性是否能相比标准神经网络或SVM，提升在无标签目标数据上的泛化能力？
• RQ3 与mSDA等SOTA表征学习方法相比，DANN在领域差异与分类准确率方面表现如何？
• RQ4 DANN能否与mSDA有效结合，进一步降低领域差异并提升性能？
• RQ5 Proxy A-distance（PAD）与实际领域自适应性能的相关性有多大？

主要发现

• DANN在Amazon Reviews情感分析基准上优于标准神经网络与SVM，相比次优方法绝对准确率提升1.7%。
• 当与mSDA表征结合时，DANN达到SOTA性能，根据泊松二项分布检验，其优于标准神经网络的概率为0.82，优于SVM的概率为0.88。
• 与原始数据或标准神经网络特征相比，使用DANN表征时Proxy A-distance（PAD）显著降低，证实了领域差异的减少。
• DANN表征的PAD值低于mSDA表征本身，表明DANN明确降低了领域可区分性，而mSDA本身并未实现这一点。
• mSDA与DANN的结合使PAD显著下降，表明二者具有互补优势：mSDA提升抗噪声能力，而DANN增强领域不变性。
• 该方法在不同超参数设置下均表现稳健，多种运行与配置下均观察到一致的性能提升。