[论文解读] A Convex Formulation for Learning Task Relationships in Multi-Task Learning

Yu Zhang, Dit‐Yan Yeung|arXiv (Cornell University)|Mar 15, 2012

Domain Adaptation and Few-Shot Learning参考文献 27被引用 134

一句话总结

本文提出多任务关系学习（MTRL），一种联合学习模型参数与任务关系的凸优化框架。通过统一正则化同时建模正相关与负相关关系，MTRL 采用交替优化实现高效学习，并在基准数据集和一个简化问题上展现出改进的泛化性能。

ABSTRACT

Multi-task learning is a learning paradigm which seeks to improve the generalization performance of a learning task with the help of some other related tasks. In this paper, we propose a regularization formulation for learning the relationships between tasks in multi-task learning. This formulation can be viewed as a novel generalization of the regularization framework for single-task learning. Besides modeling positive task correlation, our method, called multi-task relationship learning (MTRL), can also describe negative task correlation and identify outlier tasks based on the same underlying principle. Under this regularization framework, the objective function of MTRL is convex. For efficiency, we use an alternating method to learn the optimal model parameters for each task as well as the relationships between tasks. We study MTRL in the symmetric multi-task learning setting and then generalize it to the asymmetric setting as well. We also study the relationships between MTRL and some existing multi-task learning methods. Experiments conducted on a toy problem as well as several benchmark data sets demonstrate the effectiveness of MTRL.

研究动机与目标

• 开发一种建模多任务学习中任务关系的凸优化框架。
• 实现模型参数与任务相关性（包括负相关性和异常值检测）的联合学习。
• 将正则化框架从对称任务关系推广至非对称设置。
• 建立 MTRL 与现有多任务学习方法之间的理论与实证联系。
• 通过统一、可微的优化方案利用结构化任务关系，提升泛化性能。

提出的方法

• MTRL 将多任务学习建模为带有结构化正则化项的任务关系凸优化问题。
• 使用对称半正定矩阵表示任务关系，支持正相关与负相关的建模。
• 采用交替优化算法，迭代更新模型参数与任务关系矩阵。
• 框架首先在对称多任务学习场景下构建，随后扩展至非对称设置。
• 正则化项源自单任务学习的推广，将任务相似性整合至目标函数中。
• 通过检测学习到的关系矩阵中弱相关或负相关关系，识别异常任务。

实验结果

研究问题

• RQ1 如何建模多任务学习中的任务关系，以同时支持正相关与负相关？
• RQ2 能否设计一种凸优化形式，实现模型参数与任务关系的高效联合学习？
• RQ3 所提方法如何处理与其他任务无关的异常任务？
• RQ4 MTRL 在基准数据集上的性能相比现有方法有何提升？
• RQ5 MTRL 的非对称扩展如何实现对非对称任务关系的泛化？

主要发现

• 通过学习结构化任务关系，MTRL 在简化问题与多个基准数据集上均实现了改进的泛化性能。
• 该方法成功建模了常被标准多任务学习框架忽略的负相关任务关系。
• 通过学习到的任务关系矩阵有效识别出异常任务，提升了模型鲁棒性。
• 凸优化形式确保收敛至全局最优解，实现可靠且高效的优化。
• 实证结果表明，MTRL 在多种多任务学习场景下均优于基线方法，预测准确率更高。
• MTRL 的对称与非对称变体均表现出一致的性能提升，验证了该框架的可扩展性与灵活性。