[论文解读] Marginalized Denoising Autoencoders for Domain Adaptation

Minmin Chen, Zhixiang Xu+2 more|arXiv (Cornell University)|Jun 18, 2012

Topic Modeling参考文献 26被引用 520

一句话总结

本文提出了一种广义去噪自编码器（mSDA），作为堆叠去噪自编码器（SDA）在领域自适应中的可扩展替代方案。通过在训练过程中对噪声进行边缘化处理，mSDA 以闭式形式计算参数，无需随机优化，训练速度提升两个数量级，同时在基准情感分析任务上保持与 SDA 相当的性能。

ABSTRACT

Stacked denoising autoencoders (SDAs) have been successfully used to learn new representations for domain adaptation. Recently, they have attained record accuracy on standard benchmark tasks of sentiment analysis across different text domains. SDAs learn robust data representations by reconstruction, recovering original features from data that are artificially corrupted with noise. In this paper, we propose marginalized SDA (mSDA) that addresses two crucial limitations of SDAs: high computational cost and lack of scalability to high-dimensional features. In contrast to SDAs, our approach of mSDA marginalizes noise and thus does not require stochastic gradient descent or other optimization algorithms to learn parameters ? in fact, they are computed in closed-form. Consequently, mSDA, which can be implemented in only 20 lines of MATLAB^{TM}, significantly speeds up SDAs by two orders of magnitude. Furthermore, the representations learnt by mSDA are as effective as the traditional SDAs, attaining almost identical accuracies in benchmark tasks.

研究动机与目标

• 为解决堆叠去噪自编码器（SDA）在高维设置下的高计算成本和可扩展性差的问题。
• 在不依赖迭代优化的前提下，实现高效、可扩展的表示学习用于领域自适应。
• 开发一种方法，在显著降低训练时间的同时保持去噪自编码器的鲁棒性。
• 在标准基准任务上实现与 SDA 相当的性能，特别是在跨领域情感分析任务中。

提出的方法

• mSDA 引入了一种广义去噪自编码器，在训练过程中对噪声进行积分处理，避免了优化过程中的采样需求。
• 通过解析地对噪声分布进行边缘化，该方法以闭式形式计算模型参数，实现无需迭代优化的直接计算。
• 该架构采用权重共享的自编码器堆叠结构，编码器与解码器通过广义重建目标联合训练。
• 噪声被施加于输入层，模型通过最小化噪声分布上的期望重建误差来学习重建原始干净输入。
• 闭式解允许仅用 20 行 MATLAB 代码实现，显著提升训练速度。
• 该方法通过噪声注入与重建学习不变表示，保持了去噪自编码器的鲁棒性。

实验结果

研究问题

• RQ1 我们能否在不依赖迭代优化的前提下，消除去噪自编码器对迭代优化的需求，同时保持其鲁棒性？
• RQ2 对噪声进行边缘化是否能在领域自适应任务中实现与标准 SDA 相当的性能？
• RQ3 所提出的方法能否高效扩展至高维特征，如文本分类中的特征？
• RQ4 与 SDA 中的随机梯度下降相比，闭式参数计算快多少？
• RQ5 mSDA 的表示质量是否足以在基准领域自适应任务上达到最先进性能？

主要发现

• 与标准 SDA 相比，mSDA 实现了高达两个数量级的训练加速，显著缩短了训练时间。
• 该方法在标准基准任务（包括跨领域情感分析）上实现了与 SDA 几乎完全一致的准确率。
• 闭式参数计算使得仅用 20 行 MATLAB 代码即可实现紧凑实现。
• 广义去噪方法通过噪声注入与重建学习不变表示，保持了 SDA 的鲁棒性。
• mSDA 有效处理了高维特征，在传统 SDA 因计算成本过高而难以扩展的场景中表现出良好的可扩展性。
• mSDA 在基准数据集上的性能与最先进方法相当，证实了其实际可行性。