[论文解读] Clustered Multi-Task Learning: A Convex Formulation

Laurent Jacob, Francis Bach+1 more|arXiv (Cornell University)|Sep 11, 2008

Face and Expression Recognition参考文献 12被引用 285

一句话总结

该论文提出了一种凸优化框架用于聚类多任务学习，通过引入一种新颖的谱范数，鼓励未知任务聚类内权重向量之间的相似性。该方法联合学习任务聚类与共享表征，在合成数据和供 epitope 鉴定使用的 iedb MHC-I 结合数据集上优于凸与非凸基线方法，尤其在低数据量场景下表现更优。

ABSTRACT

In multi-task learning several related tasks are considered simultaneously, with the hope that by an appropriate sharing of information across tasks, each task may benefit from the others. In the context of learning linear functions for supervised classification or regression, this can be achieved by including a priori information about the weight vectors associated with the tasks, and how they are expected to be related to each other. In this paper, we assume that tasks are clustered into groups, which are unknown beforehand, and that tasks within a group have similar weight vectors. We design a new spectral norm that encodes this a priori assumption, without the prior knowledge of the partition of tasks into groups, resulting in a new convex optimization formulation for multi-task learning. We show in simulations on synthetic examples and on the IEDB MHC-I binding dataset, that our approach outperforms well-known convex methods for multi-task learning, as well as related non convex methods dedicated to the same problem.

研究动机与目标

• 解决当任务自然地聚集成簇，但簇成员关系事先未知时的多任务学习挑战。
• 设计一种正则化惩罚项，编码簇内任务相似性的先验假设，而无需事先知晓划分情况。
• 对组合聚类问题进行凸松弛，以实现高效优化与可扩展推理。
• 通过优化过程的副产品实现聚类识别与模型学习的联合进行，有助于异常值检测与任务结构发现。
• 通过结构化范数利用任务聚类，提升泛化性能，尤其是在低数据量场景下。

提出的方法

• 提出一种新的谱范数——聚类范数（Cluster Norm, CN），通过惩罚经学习聚类结构变换后的矩阵的核范数，强制簇内相似性。
• 将多任务学习问题建模为以聚类范数作为正则项的凸优化问题，可通过标准凸求解器高效求解。
• 通过引入一个对称且半正定的矩阵 Σ 来对离散聚类问题进行凸松弛，以编码任务相似性。
• 采用类似交替方向乘子法（ADMM）的策略，联合优化权重矩阵 W 与相似性矩阵 Σ。
• 引入重投影步骤，以确保学习到的 Σ 矩阵保持为有效相似性矩阵（即对称、半正定且对角线元素为 1）。
• 将该方法应用于线性回归与分类任务，采用逻辑损失函数，并在合成数据与真实世界 MHC-I 结合预测任务上进行实验。

实验结果

研究问题

• RQ1 当簇结构未知时，该凸优化框架能否有效学习任务簇与共享表征？
• RQ2 一种编码任务聚类的新型谱范数是否相比标准凸多任务学习方法能提升泛化性能？
• RQ3 在低数据量场景下，该方法的性能如何，此时任务共享最具优势？
• RQ4 该方法能否从数据中恢复出有意义的簇结构？这种结构是否与已知的生物学或领域特定分组相关？
• RQ5 与非凸替代方案或标准多任务范数相比，该聚类问题的凸松弛是否带来更优性能？

主要发现

• 在包含 28 个训练样本的合成数据上，聚类范数（CN）方法在测试误差上显著低于核范数与基于 k-means 的方法，尤其在低数据量场景下表现更优。
• 当训练样本增至 50 个时，CN 方法部分恢复了真实簇结构，而 k-means 方法完全失败，表明该凸公式的鲁棒性更强。
• 在 iedb MHC-I 结合数据集上，CN 方法在少于 200 个训练肽段的 10 个分子上实现了 8.71% ± 1.5% 的测试误差，优于次优方法（核范数：9.20% ± 1.3%）。
• 该方法优于池化与标准多任务学习基线，表明当每项任务数据有限时，结构化聚类可提升性能。
• 学习到的相似性矩阵 Σ 并未完全恢复 iedb 数据集中已知的生物学超类型，表明该方法捕捉到了潜在结构，但可能需要进一步优化或引入额外归纳偏置。
• 重投影与 CNinit 变体未提升性能，表明在此设定下，学习到的结构尚不足以从精炼中获益。