[论文解读] Convex Learning of Multiple Tasks and their Structure

Carlo Ciliberto, Youssef Mroueh+2 more|arXiv (Cornell University)|Apr 13, 2015

Sparse and Compressive Sensing Techniques参考文献 39被引用 37

一句话总结

本文提出了一种凸优化框架，用于同时学习多个机器学习任务及其潜在结构，利用一类通用的凸惩罚项来编码关于任务关系的先验知识。该方法采用具有全局收敛性证明的块坐标下降法，推广了先前的多任务学习方法，并通过向量值再生核希尔伯特空间实现任务及其相互依赖关系的高效联合学习。

ABSTRACT

Reducing the amount of human supervision is a key problem in machine learning and a natural approach is that of exploiting the relations (structure) among different tasks. This is the idea at the core of multi-task learning. In this context a fundamental question is how to incorporate the tasks structure in the learning problem.We tackle this question by studying a general computational framework that allows to encode a-priori knowledge of the tasks structure in the form of a convex penalty; in this setting a variety of previously proposed methods can be recovered as special cases, including linear and non-linear approaches. Within this framework, we show that tasks and their structure can be efficiently learned considering a convex optimization problem that can be approached by means of block coordinate methods such as alternating minimization and for which we prove convergence to the global minimum.

研究动机与目标

• 开发一种统一的凸优化框架，实现多个任务及其结构关系的联合学习。
• 通过引入能够编码关于任务相似性的先验知识的广泛类凸惩罚项，推广现有的多任务学习方法。
• 提供一种计算高效且可证明收敛的算法，用于求解所得的优化问题。
• 实现端到端的任务预测器及其潜在结构的联合学习，而无需预设任务关系。
• 在真实世界数据集上验证该框架，证明其性能优于单任务学习和先前的多任务基线方法。

提出的方法

• 该框架将任务建模为再生核希尔伯特空间（RKHSvv）中的向量值函数，从而灵活地建模线性和非线性关系。
• 引入一种通用的正则化方案，使用对任务结构矩阵的凸惩罚项，可编码关于任务相似性或分组的先验知识。
• 通过块坐标下降法求解优化问题，交替更新任务预测器并优化任务结构矩阵。
• 将障碍法与块坐标下降结合，确保在弱假设下收敛至全局最小值。
• 该方法通过将先前方法（如多任务特征学习、输出核学习和关系学习）作为特例纳入框架，实现了对它们的推广。
• 该方法支持矩阵值核的学习，并允许对任务函数及其结构依赖关系进行联合优化。

实验结果

研究问题

• RQ1 能否开发一种统一的凸优化框架，以联合学习多个任务及其结构关系？
• RQ2 如何利用广泛的凸惩罚类来编码多任务学习中关于任务相似性的先验知识？
• RQ3 对于该类多任务学习问题，采用交替最小化的块坐标下降法是否能收敛至全局最优解？
• RQ4 与固定或预设的结构相比，联合学习任务结构在多大程度上能提升泛化性能？
• RQ5 在真实世界数据集上，该方法与现有多任务学习基线方法相比，其性能表现如何？

主要发现

• 所提出的凸优化框架可实现任务与结构的联合学习，并在弱假设下证明了收敛至全局最小值。
• 在 Sarcos 数据集上，当每个任务使用 100 个训练样本时，该方法相比单任务学习实现了 0.1421 ± 0.0081 的归一化性能提升。
• 在 15-Scenes 数据集上，该方法在每个类别使用 150 个训练样本时，实现了 80.21 ± 0.05% 的平均分类准确率，优于单任务基线方法的 79.23 ± 0.01%。
• 该方法推广了现有方法（如 MTFL、MTRL 和 OKL），可将它们作为所提框架中的特例。
• 实证结果表明，该方法在多个数据集上均表现出一致的性能提升，尤其在训练数据有限时更为显著，证实了联合学习结构与任务的优越性。
• 块坐标下降算法表现出强大的实际效率，表明其在多任务学习场景中具有实际部署潜力。