[论文解读] Learning unbiased features

Yujia Li, Kevin Swersky+1 more|arXiv (Cornell University)|Dec 17, 2014

Domain Adaptation and Few-Shot Learning参考文献 11被引用 17

一句话总结

本文提出使用最大均值差异（MMD）作为正则化项，以在深度神经网络中学习无偏见、领域不变的表征。通过最小化源域和目标域特征之间的MMD，该方法提升了跨领域迁移学习的性能，在情感分类任务中优于基线模型，并对噪声和光照变化具有鲁棒性。

ABSTRACT

A key element in transfer learning is representation learning; if representations can be developed that expose the relevant factors underlying the data, then new tasks and domains can be learned readily based on mappings of these salient factors. We propose that an important aim for these representations are to be unbiased. Different forms of representation learning can be derived from alternative definitions of unwanted bias, e.g., bias to particular tasks, domains, or irrelevant underlying data dimensions. One very useful approach to estimating the amount of bias in a representation comes from maximum mean discrepancy (MMD) [5], a measure of distance between probability distributions. We are not the first to suggest that MMD can be a useful criterion in developing representations that apply across multiple domains or tasks [1]. However, in this paper we describe a number of novel applications of this criterion that we have devised, all based on the idea of developing unbiased representations. These formulations include: a standard domain adaptation framework; a method of learning invariant representations; an approach based on noise-insensitive autoencoders; and a novel form of generative model.

研究动机与目标

• 开发能够学习对领域偏移、任务特定偏见或无关数据变化无偏见的表示的深度学习模型。
• 通过学习跨领域的可迁移、不变特征，解决大规模学习中标签数据有限的挑战。
• 通过最小化源域与目标域之间的分布差异，改善迁移学习中的泛化性能。
• 提供一个统一框架，使用MMD作为正则化项，适用于多种学习场景：监督学习、无监督学习和生成建模。
• 通过端到端MMD正则化深度网络，克服现有方法（如TCA和去噪自编码器）的局限性。

提出的方法

• 使用MMD作为源域和目标域特征表示之间分布距离的度量，以强制实现领域不变性。
• 将MMD作为损失函数中的惩罚项，联合优化特征学习与分类任务。
• 采用核方法将特征隐式映射到再生核希尔伯特空间，实现非线性分布匹配。
• 将MMD整合到自编码器训练中，通过最小化干净与扰动隐藏激活之间的MMD，学习抗噪表征。
• 在生成建模中，直接使用MMD作为目标，匹配生成数据分布与真实数据分布，避免使用极小极大训练。
• 通过反向传播计算MMD损失，实现端到端训练带MMD正则化的深度模型。

实验结果

研究问题

• RQ1 基于MMD的正则化是否能在无需目标数据标签的情况下，有效缓解迁移学习中的领域偏移？
• RQ2 MMD正则化深度网络在不同光照和噪声条件下，能否有效学习不变表征？
• RQ3 MMD正则化是否在学习抗噪特征方面优于传统的去噪自编码器和收缩自编码器？
• RQ4 MMD能否作为生成建模中极小极大训练的稳定、单目标替代方案？
• RQ5 在真实世界的迁移学习场景中，MMD正则化在多样化数据分布上的泛化性能提升程度如何？

主要发现

• 在B→D情感分类任务中，MMD正则化神经网络达到79.2%的准确率，优于TCA（76.9%）和标准神经网络（78.3%）。
• 在K→D任务中，MMD模型达到75.0%的准确率，标准差为1.0%，显著优于基线神经网络（72.7%）和TCA（73.3%）。
• MMD自编码器在区分干净与噪声数据的SVM分类中达到61.1%的准确率，表明其抗噪性优于DAE（82.5%）和CAE（77.9%）。
• 在生成建模中，MMD方法成功学习到有意义的特征，并生成了逼真的MNIST样本，且无需极小极大优化。
• 在E→K情感任务中，MMD正则化模型达到85.2%的准确率，优于最佳基线模型（RBF SVM为82.0%），并在所有领域自适应任务中表现出鲁棒性。
• 出人意料的是，去噪自编码器在抗噪性方面表现不如MMD正则化模型，表明去噪并不保证获得鲁棒表征。