[论文解读] Efficient Multitask Feature and Relationship Learning

Han Zhao, Otilia Stretcu+2 more|arXiv (Cornell University)|Feb 14, 2017

Video Surveillance and Tracking Methods参考文献 35被引用 6

一句话总结

该论文提出FETR，一种新颖的多任务学习框架，通过良好定义的正定协方差矩阵联合学习特征与任务关系，采用闭式坐标下降算法，将矩阵优化问题简化为最小权重完美匹配问题。该方法在线性和非线性任务上均实现了数量级的速度提升，并在泛化性能上优于现有方法。

ABSTRACT

We consider a multitask learning problem, in which several predictors are learned jointly. Prior research has shown that learning the relations between tasks, and between the input features, together with the predictor, can lead to better generalization and interpretability, which proved to be useful for applications in many domains. In this paper, we consider a formulation of multitask learning that learns the relationships both between tasks and between features, represented through a task covariance and a feature covariance matrix, respectively. First, we demonstrate that existing methods proposed for this problem present an issue that may lead to ill-posed optimization. We then propose an alternative formulation, as well as an efficient algorithm to optimize it. Using ideas from optimization and graph theory, we propose an efficient coordinate-wise minimization algorithm that has a closed form solution for each block subproblem. Our experiments show that the proposed optimization method is orders of magnitude faster than its competitors. We also provide a nonlinear extension that is able to achieve better generalization than existing methods.

研究动机与目标

• 解决现有多任务特征与关系学习框架中存在的病态优化问题，该问题可能导致协方差矩阵非正定。
• 设计一个明确定义的、多重凸的公式，确保特征与任务协方差矩阵的正定性。
• 设计一种高效的块坐标最小化算法，每个子问题均具有解析解，避免昂贵的迭代优化。
• 通过引入神经网络，将该框架扩展至非线性场景，进一步提升泛化性能，超越线性基线。

提出的方法

• 提出MTFRL的一种约束变体，称为FETR，通过强制实施特征与任务协方差矩阵的正定性，确保优化问题的良好定义。
• 采用块坐标逐次最小化方法，其中每个子问题——权重学习与协方差估计——均有闭式解。
• 将协方差矩阵估计问题转化为完全二分图上的最小权重完美匹配问题，可通过组合优化求解。
• 当实例在任务间共享时，使用Sylvester方程求解器进行权重学习；否则使用梯度下降。
• 通过将FETR正则化项引入多任务神经网络的最后层，提出非线性扩展FETR-NN。
• 将同一框架应用于线性和非线性模型，实现在不同设置下的一致性能提升。

实验结果

研究问题

• RQ1 能否设计一种良好定义的多任务学习公式，以避免现有MTFRL类方法因协方差估计非正定而导致的病态性？
• RQ2 协方差矩阵估计问题能否以闭式解求解，而无需迭代过程，从而提升计算效率？
• RQ3 所提出的FETR框架在真实世界数据集上是否优于现有多任务学习基线？
• RQ4 FETR框架能否有效扩展至非线性模型（如神经网络），以进一步提升性能？
• RQ5 所估计的特征与任务协方差矩阵是否能揭示可解释且有意义的任务与特征间关系？

主要发现

• 通过用闭式组合解替代迭代协方差估计，FETR实现了比现有方法快数个数量级的优化速度。
• 在SARCOS和School数据集上，FETR在所有基线方法（包括单任务学习、MTL和MTFRL）中均实现了更低的归一化均方误差（NMSE）。
• 在SARCOS数据集上，FETR估计的特征与任务协方差矩阵呈现出块对角结构，表明其揭示了与物理关节运动一致的有意义任务相关性。
• 非线性扩展FETR-NN在所有任务上均优于MT-NN和MTFRL-NN，表明该框架在深度学习场景中能有效提升泛化性能。
• 所估计的任务与特征协方差矩阵具有可解释性，表明FETR能够捕捉任务与特征之间有意义的结构关系。