[论文解读] Flexible Modeling of Latent Task Structures in Multitask Learning

Alexandre Passos, Piyush Rai+2 more|arXiv (Cornell University)|Jun 27, 2012

Domain Adaptation and Few-Shot Learning参考文献 31被引用 33

一句话总结

该论文提出了一种非参数贝叶斯模型，通过结合因子分析混合模型，灵活地学习多任务学习中的潜在任务结构，无需预设固定结构即可自动发现多样化的任务关系——如聚类、低秩或非线性子空间。该方法采用变分推断，在合成数据和真实世界回归与分类任务中表现出色，优于具有固定结构假设的现有模型。

ABSTRACT

Multitask learning algorithms are typically designed assuming some fixed, a priori known latent structure shared by all the tasks. However, it is usually unclear what type of latent task structure is the most appropriate for a given multitask learning problem. Ideally, the "right" latent task structure should be learned in a data-driven manner. We present a flexible, nonparametric Bayesian model that posits a mixture of factor analyzers structure on the tasks. The nonparametric aspect makes the model expressive enough to subsume many existing models of latent task structures (e.g, mean-regularized tasks, clustered tasks, low-rank or linear/non-linear subspace assumption on tasks, etc.). Moreover, it can also learn more general task structures, addressing the shortcomings of such models. We present a variational inference algorithm for our model. Experimental results on synthetic and real-world datasets, on both regression and classification problems, demonstrate the effectiveness of the proposed method.

研究动机与目标

• 解决现有多任务学习模型假设固定、预定义潜在任务结构的局限性。
• 开发一种方法，能够以数据驱动的方式自动发现并适应多样的任务关系。
• 在一个统一的灵活框架中统一并推广现有的潜在任务结构模型（例如聚类、低秩、子空间）。
• 实现对更复杂、非标准任务结构的发现，超越当前模型所能捕捉的范围。

提出的方法

• 该模型采用基于狄利克雷过程混合因子分析的非参数贝叶斯方法来表示潜在任务结构。
• 每个混合分量对应一个独立的因子分析器，用于建模具有共享低维潜在因子的相关任务组。
• 混合分量的数量由数据推断得出，使模型能够自适应地确定任务聚类或子空间的数量。
• 开发了一种变分推断算法，用于对潜在任务结构和模型参数进行后验推断。
• 该模型联合学习任务特定权重和共享潜在因子，从而实现在任务间的灵活泛化。
• 通过相应调整似然函数，该框架支持回归和分类任务。

实验结果

研究问题

• RQ1 多任务学习模型是否能够在不预先假设的情况下，自动发现给定任务集的最合适潜在结构？
• RQ2 与固定结构模型（例如低秩、聚类）相比，所提出的模型在预测性能上表现如何？
• RQ3 该模型在多大程度上能够揭示超越常见假设（如线性子空间或聚类）的复杂、非标准任务关系？
• RQ4 该模型对任务相似度和数据中噪声的变化具有多强的鲁棒性？
• RQ5 该模型能否有效从数据中学习到潜在任务组或子空间的正确数量？

主要发现

• 所提出的模型在合成数据和真实世界多任务学习基准上均达到最先进性能，优于具有固定结构假设的模型。
• 在合成数据上，该模型正确识别出潜在任务结构（例如聚类、低秩），并适应真实的分量数量。
• 在真实世界的分类和回归任务中，该模型持续优于基线多任务学习方法，提升了泛化性能。
• 该模型成功发现了复杂、非线性的任务关系，而简单模型则无法捕捉这些关系。
• 变分推断算法收敛稳定，并能合理扩展到中等规模的多任务问题。