[论文解读] Learning Task Grouping and Overlap in Multi-task Learning

Abhishek Kumar, Hal Daumé|arXiv (Cornell University)|Jun 27, 2012

Domain Adaptation and Few-Shot Learning参考文献 31被引用 252

一句话总结

该论文提出了一种多任务学习框架，将任务参数建模为共享基础任务的稀疏线性组合，从而实现灵活的任务分组与重叠。通过在组合系数中施加稀疏性，该方法控制了任务之间的信息共享程度，在四个基准数据集上优于现有方法。

ABSTRACT

In the paradigm of multi-task learning, mul- tiple related prediction tasks are learned jointly, sharing information across the tasks. We propose a framework for multi-task learn- ing that enables one to selectively share the information across the tasks. We assume that each task parameter vector is a linear combi- nation of a finite number of underlying basis tasks. The coefficients of the linear combina- tion are sparse in nature and the overlap in the sparsity patterns of two tasks controls the amount of sharing across these. Our model is based on on the assumption that task pa- rameters within a group lie in a low dimen- sional subspace but allows the tasks in differ- ent groups to overlap with each other in one or more bases. Experimental results on four datasets show that our approach outperforms competing methods.

研究动机与目标

• 为解决多任务学习中选择哪些任务应共享信息的挑战。
• 通过具有稀疏系数的共享基础任务来建模任务关系。
• 通过允许多个任务共享相同的基组件，实现任务组的重叠。
• 通过从数据中自动学习任务分组与重叠，提升泛化能力。
• 在真实世界基准数据集上超越现有的多任务学习方法。

提出的方法

• 任务参数被建模为一组固定基础任务的稀疏线性组合。
• 组合系数中的稀疏性控制了任务间信息共享的程度与模式。
• 该框架基于同一组内任务的低维子空间假设。
• 通过允许任务共享一个或多个基础任务，实现重叠。
• 通过正则化学习目标进行优化，以鼓励稀疏性和低秩结构。
• 通过凸优化公式端到端训练，以同时学习基础任务及其系数。

实验结果

研究问题

• RQ1 我们如何能自动学习多任务学习中哪些任务应共享信息？
• RQ2 任务分组与重叠在多任务学习中能在多大程度上提升泛化能力？
• RQ3 基于基础任务的稀疏线性组合能否有效建模复杂任务关系？
• RQ4 与现有多任务学习基线方法相比，所提出方法在性能上表现如何？
• RQ5 重叠任务组对预测准确率有何影响？

主要发现

• 所提出方法在四个真实世界数据集上优于竞争的多任务学习方法。
• 该模型能有效学习任务分组与重叠，而无需事先了解任务关系。
• 系数向量中的稀疏性导致了有意义且可解释的任务分组。
• 该框架通过选择性地在相关任务间共享信息，实现了更好的泛化。
• 实证结果表明，在多样化学习任务中均实现了稳定的性能提升。
• 该方法对不同重叠程度和组结构具有鲁棒性。