[论文解读] Consistent Multitask Learning with Nonlinear Output Relations

Carlo Ciliberto, Alessandro Rudi+2 more|arXiv (Cornell University)|May 23, 2017

Gaussian Processes and Bayesian Inference参考文献 26被引用 13

一句话总结

该论文提出了一种新颖的多任务学习框架，通过结构化预测建模任务间的非线性关系，并利用联合输出上的非线性方程施加约束。该方法确保了普遍一致性，在排序任务中表现优于现有基线方法，通过显式建模任务间依赖关系，相较于先前方法将排序误差降低了20%的相对幅度。

ABSTRACT

Key to multitask learning is exploiting relationships between different tasks to improve prediction performance. If the relations are linear, regularization approaches can be used successfully. However, in practice assuming the tasks to be linearly related might be restrictive, and allowing for nonlinear structures is a challenge. In this paper, we tackle this issue by casting the problem within the framework of structured prediction. Our main contribution is a novel algorithm for learning multiple tasks which are related by a system of nonlinear equations that their joint outputs need to satisfy. We show that the algorithm is consistent and can be efficiently implemented. Experimental results show the potential of the proposed method.

研究动机与目标

• 为解决现有多任务学习方法假设任务间线性关系的局限性，该假设在实际中可能过于严格。
• 开发一种能够建模并利用多个任务之间非线性关系的框架，尤其适用于输出需满足一组非线性方程的情形。
• 在存在非线性输出约束的情况下，确保理论上的一致性与泛化保证。
• 将结构化预测技术扩展至多任务学习，以提升样本效率与性能。
• 提供一种可高效实现并应用于具有复杂任务依赖关系的实际问题的实用算法。

提出的方法

• 该方法将多任务学习表述为一个结构化预测问题，其中联合输出必须满足由函数 γ: ℝ^T → ℝ^P 定义的一组非线性约束。
• 提出一种新型估计器，通过在所有 x ∈ ℛ 上满足约束 γ(f₁(x), ..., f_T(x)) = 0 的条件下，最小化正则化经验风险。
• 采用基于核的方法，将函数 f₁, ..., f_T 表示在再生核希尔伯特空间中，从而实现非线性建模。
• 关键组成部分是使用一种惩罚非线性输出约束违反的损失函数，约束集通过流形或隐式关系定义。
• 通过对偶形式求解优化问题，实现高效计算，利用现有结构化预测问题求解器（如DAG中的最小反馈弧集问题）。
• 通过将成对比较建模为非线性约束，并使用加权0-1损失衡量排序准确性，将该方法扩展至排序问题。

实验结果

研究问题

• RQ1 多任务学习能否被一致地扩展至线性模型无法捕捉的非线性输出关系？
• RQ2 结构化预测原则如何被调整以在多任务学习中对联合输出施加非线性约束？
• RQ3 一个强制执行非线性输出约束的多任务学习算法的泛化行为如何？
• RQ4 该方法在真实场景中能否优于标准多任务学习和专门针对排序的基线方法？
• RQ5 如何在保持理论一致性的前提下高效实现该算法？

主要发现

• 所提出的NL-MTL方法在Movielens100k数据集上的排序误差为0.321 ± 0.004，显著优于次佳方法SELF（0.396）。
• 与SELF估计器相比，NL-MTL将加权0-1损失降低了约20%，证明了建模真实多任务结构的优势。
• 该方法始终优于标准多任务学习基线方法（如MTRL、STL），后者未能利用约束结构，表现较差。
• 理论分析证实，该算法在约束函数满足温和假设下具有普遍一致性和良好的泛化能力。
• 该方法具有可扩展性，可利用图基求解器（如最小反馈弧集算法）高效实现约束集。
• 实证结果表明，忽略非线性约束结构（如STL或MTRL中所做）会导致性能显著下降，验证了显式建模的重要性。