[论文解读] Information-Theoretical Learning of Discriminative Clusters for Unsupervised Domain Adaptation

Yuan Shi, Fei Sha|arXiv (Cornell University)|Jun 27, 2012

Domain Adaptation and Few-Shot Learning参考文献 26被引用 130

一句话总结

本文提出了一种用于无监督域自适应的联合优化框架，通过使用信息论度量作为目标域分类误差的代理，同时学习域不变且具有判别性的特征表示。通过利用基于梯度的优化和无需目标标签的交叉验证，该方法在物体识别和情感分析基准上实现了最先进性能。

ABSTRACT

We study the problem of unsupervised domain adaptation, which aims to adapt classifiers trained on a labeled source domain to an unlabeled target domain. Many existing approaches first learn domain-invariant features and then construct classifiers with them. We propose a novel approach that jointly learn the both. Specifically, while the method identifies a feature space where data in the source and the target domains are similarly distributed, it also learns the feature space discriminatively, optimizing an information-theoretic metric as an proxy to the expected misclassification error on the target domain. We show how this optimization can be effectively carried out with simple gradient-based methods and how hyperparameters can be cross-validated without demanding any labeled data from the target domain. Empirical studies on benchmark tasks of object recognition and sentiment analysis validated our modeling assumptions and demonstrated significant improvement of our method over competing ones in classification accuracies.

研究动机与目标

• 解决将已标注源域的分类器适应到无标注目标域的挑战，且不依赖目标标签。
• 克服现有方法将域不变特征学习与分类器构建分离的局限性。
• 开发一个统一框架，联合优化特征空间中的域不变性与判别能力。
• 通过交叉验证实现超参数调优，而无需依赖目标域的标注数据。
• 通过最小化预期误分类误差的信息论代理，提升在目标域上的泛化能力。

提出的方法

• 构建一个联合目标，最小化域差异，同时在共享特征空间中最大化类别可分性。
• 使用信息论度量——具体为特征与类别标签之间的互信息——作为目标域上预期误分类误差的代理。
• 使用基于梯度的方法优化目标函数，以更新特征变换参数。
• 引入一个参数化的特征变换网络，将源域和目标域数据映射到共享空间，在该空间中域对齐且类别分离。
• 仅在源域数据上应用交叉验证以调优超参数，避免依赖目标标签。
• 利用互信息与分类误差之间的对偶性，确保学习到的特征既具有域不变性又具有判别性。

实验结果

研究问题

• RQ1 与顺序方法相比，联合优化域不变性与判别能力是否能显著提升无监督域自适应的性能？
• RQ2 在缺乏目标标签的情况下，信息论度量作为目标域分类误差代理的有效性如何？
• RQ3 在无法访问标注目标数据的情况下，超参数的可靠调优程度如何？
• RQ4 所提出方法在物体识别和情感分析等多样化域自适应任务中是否具备泛化能力？
• RQ5 在准确率和鲁棒性方面，该联合学习框架与最先进方法相比表现如何？

主要发现

• 在基准物体识别和情感分析任务上，所提方法相较于竞争方法显著提升了分类准确率。
• 域不变性与判别能力的联合优化相比分别学习这两个组件的方法，在目标域上实现了更好的泛化性能。
• 即使没有目标标签，误分类误差的信息论代理也能有效引导学习过程。
• 仅使用源域数据即可可靠地进行超参数交叉验证，实现无需目标标注的实际部署。
• 实证结果表明，该方法在多种域偏移场景下均有效，验证了建模假设的合理性。
• 在物体识别和情感分析基准上，该方法均优于现有最先进方法，证实了其鲁棒性和泛化能力。