[论文解读] Cross-Domain Multitask Learning with Latent Probit Models

Shaobo Han, Xuejun Liao+1 more|arXiv (Cornell University)|Jun 27, 2012

Domain Adaptation and Few-Shot Learning参考文献 15被引用 10

一句话总结

本文提出了一种潜在probit模型（LPM），用于跨域多任务学习，通过在公共潜在空间中联合学习稀疏的域变换和共享分类器，实现异质域之间的有效分类。该方法通过在变换和分类器中强制实施稀疏性，提升了泛化能力，并推导出分类器估计误差的理论误差界，其结果以变换的稀疏性为条件。

ABSTRACT

Learning multiple tasks across heterogeneous domains is a challenging problem since the feature space may not be the same for different tasks. We assume the data in multiple tasks are generated from a latent common domain via sparse domain transforms and propose a latent probit model (LPM) to jointly learn the domain transforms, and the shared probit classifier in the common domain. To learn meaningful task relatedness and avoid over-fitting in classification, we introduce sparsity in the domain transforms matrices, as well as in the common classifier. We derive theoretical bounds for the estimation error of the classifier in terms of the sparsity of domain transforms. An expectation-maximization algorithm is derived for learning the LPM. The effectiveness of the approach is demonstrated on several real datasets.

研究动机与目标

• 解决在特征空间不同的异质域之间学习多个任务的挑战。
• 通过在模型参数中引入结构化稀疏性，克服跨域分类中的过拟合问题。
• 在公共潜在空间中联合学习特定于域的变换和共享分类器，以提升泛化能力。
• 通过将域变换建模为稀疏矩阵，实现有意义的任务相关性。
• 基于变换稀疏性，为共享分类器的估计误差提供理论保证。

提出的方法

• 提出一种潜在probit模型（LPM），通过稀疏域变换将来自多个异质域的数据映射到共享的公共潜在域。
• 在公共域中使用带有稀疏性诱导先验的probit分类器来建模分类任务。
• 通过在域变换矩阵和共享分类器权重中强制实施稀疏性，以提升泛化能力和可解释性。
• 推导出一种期望最大化（EM）算法，用于联合学习域变换、共享分类器和潜在变量。
• 使用层次贝叶斯先验在变换矩阵和分类器中诱导稀疏性，实现自动相关性判定。
• 使用EM算法优化模型，其中E步计算潜在变量的后验期望，M步在稀疏性约束下更新模型参数。

实验结果

研究问题

• RQ1 如何在特征空间不匹配的异质域之间有效实现知识迁移？
• RQ2 域变换中的稀疏性对共享分类器估计误差有何影响？
• RQ3 与独立模型相比，联合学习域变换和共享分类器是否能提升跨域分类性能？
• RQ4 如何建模任务相关性，以避免在低数据场景下的过拟合？
• RQ5 能否基于变换稀疏性，为共享分类器的估计误差建立理论边界？

主要发现

• 与基线多任务学习和单任务学习方法相比，所提出的LPM在多个真实世界数据集上实现了更优的分类性能。
• 理论分析表明，共享分类器的估计误差受域变换稀疏度的限制，验证了稀疏性在泛化中的作用。
• 域变换和共享分类器的双重稀疏性提升了模型的可解释性并减少了过拟合。
• EM算法收敛稳定且高效，实现了所有模型组件的联合优化。
• 实证结果表明，跨域迁移学习中表现持续提升，尤其在域数据有限或特征空间高度异质时更为显著。
• 该方法即使在域之间差异较大时，也能通过共享潜在结构有效捕捉任务相关性。