[论文解读] Convex Multitask Learning with Flexible Task Clusters

Wenliang Zhong, James T. Kwok|arXiv (Cornell University)|Jun 18, 2012

Sparse and Compressive Sensing Techniques参考文献 27被引用 36

一句话总结

该论文提出了一种凸多任务学习框架，通过在特征层面建模任务关系，实现无需预先定义聚类数量的灵活、数据驱动的特征级任务聚类。该方法采用强凸优化公式，可通过加速近端方法求解，在合成数据集和真实世界数据集上均实现了稳定且领先的准确率，同时发现合理且与特征相关的任务结构。

ABSTRACT

Traditionally, multitask learning (MTL) assumes that all the tasks are related. This can lead to negative transfer when tasks are indeed incoherent. Recently, a number of approaches have been proposed that alleviate this problem by discovering the underlying task clusters or relationships. However, they are limited to modeling these relationships at the task level, which may be restrictive in some applications. In this paper, we propose a novel MTL formulation that captures task relationships at the feature-level. Depending on the interactions among tasks and features, the proposed method construct different task clusters for different features, without even the need of pre-specifying the number of clusters. Computationally, the proposed formulation is strongly convex, and can be efficiently solved by accelerated proximal methods. Experiments are performed on a number of synthetic and real-world data sets. Under various degrees of task relationships, the accuracy of the proposed method is consistently among the best. Moreover, the feature-specific task clusters obtained agree with the known/plausible task structures of the data.

研究动机与目标

• 为解决当任务不一致时多任务学习中的负迁移问题，通过在特征层面而非任务层面建模任务关系。
• 通过允许特征特定的聚类，消除预先指定任务聚类数量的需求。
• 开发一种计算高效的强凸优化公式，实现可扩展且稳定的学习。
• 通过捕捉每个特征上的异质任务交互，提升在多样化任务关系模式下的泛化能力和准确性。

提出的方法

• 提出一种新颖的多任务学习公式，通过特征特定的聚类矩阵建模任务关系。
• 采用类似组Lasso的正则化方法，促进任务关系的稀疏性，实现每个特征上任务聚类的自动发现。
• 采用强凸优化框架，确保收敛性和稳定性，可通过加速近端梯度方法求解。
• 该方法根据不同特征的交互模式自适应地为不同特征构建不同的任务聚类，而无需事先了解聚类数量。
• 优化问题被设计为凸问题，即使在高维设置下也能实现高效可靠的求解。
• 该公式允许灵活、数据驱动地识别随特征变化的任务分组，从而提升模型的适应能力。

实验结果

研究问题

• RQ1 通过在特征层面而非任务层面建模任务关系，能否提升多任务学习的性能？
• RQ2 如何在不预先定义聚类数量的情况下自动发现任务聚类？
• RQ3 凸优化框架能否有效捕捉跨特征的异质任务关系，同时保持计算效率？
• RQ4 所提出的方法在不同任务一致性程度下是否能持续优于现有多任务学习方法？
• RQ5 所学习到的特征特定任务聚类是否与已知或合理的数据结构一致？

主要发现

• 所提出方法在多个合成数据集和真实世界数据集上均表现出一致的高准确率，在各种任务关系条件下优于或匹配当前最先进基线方法。
• 该方法无需预先指定聚类数量，即可自动发现特征特定的任务聚类。
• 所学习到的任务聚类具有可解释性，并与数据中已知或合理的潜在任务结构一致，验证了模型捕捉有意义关系的能力。
• 强凸公式通过加速近端方法实现高效且稳定的优化，确保可靠的收敛。
• 实验表明，即使在任务仅弱相关或部分一致的情况下，该方法仍表现出稳健性能，降低了负迁移的风险。