[论文解读] Efficient Output Kernel Learning for Multiple Tasks

Pratik Jawanpuria, Maksim Lapin+2 more|arXiv (Cornell University)|Nov 18, 2015

Sparse and Compressive Sensing Techniques参考文献 36被引用 12

一句话总结

本文提出了一种新颖且高效的方法，用于在多任务学习中学习输出核矩阵，通过证明对于某些 p-范数正则化器（p ∈ (1,2]），输出核的半正定性约束可被移除而不损失最优性，从而得到一个无约束的对偶问题。该方法通过随机对偶坐标上升实现可扩展的优化，显著缩短了训练时间，同时提升了泛化性能，特别是当使用稀疏正则化器时，可增强任务关系的可解释性。

ABSTRACT

The paradigm of multi-task learning is that one can achieve better generalization by learning tasks jointly and thus exploiting the similarity between the tasks rather than learning them independently of each other. While previously the relationship between tasks had to be user-defined in the form of an output kernel, recent approaches jointly learn the tasks and the output kernel. As the output kernel is a positive semidefinite matrix, the resulting optimization problems are not scalable in the number of tasks as an eigendecomposition is required in each step. \mbox{Using} the theory of positive semidefinite kernels we show in this paper that for a certain class of regularizers on the output kernel, the constraint of being positive semidefinite can be dropped as it is automatically satisfied for the relaxed problem. This leads to an unconstrained dual problem which can be solved efficiently. Experiments on several multi-task and multi-class data sets illustrate the efficacy of our approach in terms of computational efficiency as well as generalization performance.

研究动机与目标

• 解决现有多任务学习方法中因需重复对输出核矩阵进行特征值分解而产生的计算瓶颈。
• 在保持计算效率和大规模任务可扩展性的同时，实现输出核矩阵的端到端学习。
• 通过 p-范数正则化促进输出核中的稀疏性，从而提升任务关系的可解释性。
• 建立在优化问题中可放松输出核半正定性约束的理论条件。
• 开发一种可扩展的无约束对偶优化框架，避免交替最小化和特征值分解。

提出的方法

• 本文将联合多任务学习问题与输出核矩阵上的 p-范数正则化器相结合，其中 p ∈ (1,2]，包括弗罗贝尼乌斯范数。
• 证明了对于一大类正则化器（包括 p ∈ (1,2] 的 p-范数），最优解中输出核的半正定性会自动满足，因此可在优化中安全地移除该约束。
• 该松弛导致一个无约束的对偶问题，该问题为凸优化问题，适合高效求解。
• 使用随机对偶坐标上升（SDCA）求解对偶问题，该方法在大规模数据集上具有良好的可扩展性，并避免了昂贵的特征值分解步骤。
• 该方法被推广至一类更广泛的正则化器，其特征为特定的凸性和光滑性条件。
• 算法避免了在任务参数与输出核之间交替最小化，而是通过统一的优化框架联合求解两者。

实验结果

研究问题

• RQ1 在多任务学习中，输出核的半正定性约束在何种条件下可被安全地从优化问题中移除？
• RQ2 对输出核矩阵施加 p-范数正则化如何影响学习到的任务关系的稀疏性和可解释性？
• RQ3 通过 SDCA 实现的无约束对偶优化能否实现与需要特征值分解的现有方法相当或更优的泛化性能？
• RQ4 与现有输出核学习算法相比，该方法在训练时间与任务数量增加时的计算优势是什么？
• RQ5 该方法在多样化的多任务和多分类基准数据集上是否保持或提升了泛化性能？

主要发现

• 在最大任务数的 SUN397 数据集上，所提方法 FMTL p-S 的训练速度比 OKL 快达 7 倍，比 ConvexOKL 快 4.3 倍，原因在于消除了特征值分解和交替最小化步骤。
• 在 MNIST 和 USPS 数据集上，FMTL 2-S 的平均运行时间分别比 OKL 快 25.5 倍和 26.2 倍，展现出卓越的可扩展性。
• 当 p = 8/7（更接近 1）时，学习到的输出核矩阵表现出显著更高的任务关系稀疏性，相较于 p = 2，能更清晰地揭示数据中的分层结构，例如在 SUN397 的超类中。
• 该方法在泛化性能上优于基线方法，在 SUN397 和 MIT Indoor67 数据集上分别实现了高达 5.2 倍和 7 倍的运行时间加速。
• 无约束对偶公式支持精确的对偶间隙计算（设定为 10−15），从而实现可靠的收敛监控，而基线方法因停止条件定义不明确而难以实现。
• 理论分析证实，当 p ∈ (1,2] 时，即使未显式施加半正定性约束，最优输出核仍保持半正定性，从而支持高效优化。