[论文解读] An Extended Framework for Marginalized Domain Adaptation

Gabriela Csurka, Boris Chidlovskii+2 more|arXiv (Cornell University)|Feb 20, 2017

Domain Adaptation and Few-Shot Learning参考文献 32被引用 5

一句话总结

本文提出了一种扩展的边缘化域自适应框架，通过带有域和类别正则化的去噪自编码器，联合学习域不变特征和分类器。通过求解闭式线性矩阵系统（例如，$AX = B$）和Sylvester方程的迭代解法（$AX + XB = C$），该方法在无监督、有监督和半监督设置下均实现了最先进性能，且计算效率高。

ABSTRACT

We propose an extended framework for marginalized domain adaptation, aimed at addressing unsupervised, supervised and semi-supervised scenarios. We argue that the denoising principle should be extended to explicitly promote domain-invariant features as well as help the classification task. Therefore we propose to jointly learn the data auto-encoders and the target classifiers. First, in order to make the denoised features domain-invariant, we propose a domain regularization that may be either a domain prediction loss or a maximum mean discrepancy between the source and target data. The noise marginalization in this case is reduced to solving the linear matrix system $AX=B$ which has a closed-form solution. Second, in order to help the classification, we include a class regularization term. Adding this component reduces the learning problem to solving a Sylvester linear matrix equation $AX+BX=C$, for which an efficient iterative procedure exists as well. We did an extensive study to assess how these regularization terms improve the baseline performance in the three domain adaptation scenarios and present experimental results on two image and one text benchmark datasets, conventionally used for validating domain adaptation methods. We report our findings and comparison with state-of-the-art methods.

研究动机与目标

• 通过在不显式数据破坏的情况下学习域不变表示，解决迁移学习中的域偏移问题。
• 将边缘化去噪自编码器（MDA）框架扩展至支持无监督、有监督和半监督域自适应场景。
• 引入两种正则化机制——域预测损失和最大均值差异（MMD）——以促进域不变特征学习。
• 通过类别正则化项联合优化特征去噪和分类器学习，提升目标域预测性能。
• 通过将学习问题简化为具有闭式或迭代解法的线性矩阵方程，保持计算效率。

提出的方法

• 对自编码器应用噪声边缘化，实现无需迭代破坏采样的去噪特征的闭式计算。
• 通过域预测损失（对抗式）或MMD引入域正则化，以对齐源域和目标域分布。
• 在引入分类器学习时，将联合优化公式化为Sylvester矩阵方程$AX + XB = C$，可通过高效迭代方法求解。
• 在所有三种适应设置中使用相同框架：无监督（仅使用无标签目标数据）、有监督（使用有标签目标数据）和半监督（同时使用有标签和无标签数据）。
• 通过使用前一层的去噪特征作为下一层的输入，实现多层堆叠，仅通过前向传播即可获得非线性表示。
• 通过避免反向传播和GPU密集型训练，转而依赖矩阵系统求解器，确保可扩展性。

实验结果

研究问题

• RQ1 在无监督和半监督设置下，是否能通过显式域正则化的去噪自编码器有效学习域不变特征？
• RQ2 联合优化特征去噪和分类器学习在跨域分类任务中如何提升泛化性能？
• RQ3 在准确率和计算成本方面，所提框架在多大程度上优于现有的特征变换和深度域自适应方法？
• RQ4 该框架是否能在仅使用线性系统求解器而非基于反向传播的深度神经网络训练的情况下，保持高性能？
• RQ5 不同的域正则化策略——域预测损失和MMD——在促进域不变性和分类准确率方面表现如何比较？

主要发现

• 在OC10数据集上，所提出的S1M方法达到了86.5%的准确率，优于域自适应SVM（70.3%）和辅助分类器方法（84%），但略低于JDA和TTM（87.5%）。
• 在OFF31数据集上，L12 + NN方法实现了64.3%的平均准确率，优于GFK+SVM（49.1%）、SA+SVM（49.1%）、TCA+SVM（50.9%）和CORAL+SVM（64.0%）。
• L1D + RDG变体在OFF31上达到了65.3%的平均准确率，优于大多数特征变换基线方法，并接近深度学习方法如DAN（72.9%）。
• 在AMT上，L1D + Zl方法实现了82.2%的准确率，与使用5层堆叠MDA和30,000维特征的复杂DANN模型相当。
• 在半监督设置下，L12C + DSCM方法在OC10上使用BOV特征实现了55.8%的准确率，优于GFK（48.6%）、SA（53.6%）和MMDT（52.5%）。
• 该框架通过求解线性系统而非依赖反向传播，保持了高效率，即使在大规模数据上也能实现快速训练和推理。