[论文解读] A Convex Feature Learning Formulation for Latent Task Structure Discovery

Pratik Jawanpuria, J. Saketha Nath|arXiv (Cornell University)|Jun 18, 2012

Sparse and Compressive Sensing Techniques参考文献 27被引用 7

一句话总结

该论文提出了一种凸优化框架，通过基于图的正则化器利用任务关系中的层次结构，在多任务学习中联合发现相关任务组及其共享的特征空间。该方法能够以多项式时间高效识别具有相似参数和共享特征的任务聚类，在基准数据集上的表现优于最先进方法。

ABSTRACT

This paper considers the multi-task learning problem and in the setting where some relevant features could be shared across few related tasks. Most of the existing methods assume the extent to which the given tasks are related or share a common feature space to be known apriori. In real-world applications however, it is desirable to automatically discover the groups of related tasks that share a feature space. In this paper we aim at searching the exponentially large space of all possible groups of tasks that may share a feature space. The main contribution is a convex formulation that employs a graph-based regularizer and simultaneously discovers few groups of related tasks, having close-by task parameters, as well as the feature space shared within each group. The regularizer encodes an important structure among the groups of tasks leading to an efficient algorithm for solving it: if there is no feature space under which a group of tasks has close-by task parameters, then there does not exist such a feature space for any of its supersets. An efficient active set algorithm that exploits this simplification and performs a clever search in the exponentially large space is presented. The algorithm is guaranteed to solve the proposed formulation (within some precision) in a time polynomial in the number of groups of related tasks discovered. Empirical results on benchmark datasets show that the proposed formulation achieves good generalization and outperforms state-of-the-art multi-task learning algorithms in some cases.

研究动机与目标

• 自动发现共享共同特征空间的相关任务组，且无需事先知晓任务关系。
• 解决现有多任务学习方法的局限性，即假设已知任务相关性或共享特征结构。
• 通过凸优化公式高效探索可能的任务分组的指数级庞大空间。
• 开发一种算法，同时学习任务分组与共享特征，同时确保计算可处理性。
• 通过结构化正则化捕捉潜在任务结构，从而提升基准数据集上的泛化能力和性能。

提出的方法

• 该方法采用基于图的正则化器的凸优化公式，以编码任务组之间的层次关系。
• 正则化器确保：若一组任务共享特征空间，则其所有子组也必须共享特征空间，从而实现高效搜索。
• 设计了一种主动集算法以利用层次结构，减少搜索空间并确保多项式时间收敛。
• 该公式联合优化所发现任务簇中的任务特定参数与共享特征表示。
• 优化问题被设计为在任务分组和共享特征上促进稀疏性，从而增强可解释性与泛化能力。
• 该算法保证在发现的任务组数量的多项式时间内收敛到指定精度的解。

实验结果

研究问题

• RQ1 凸优化框架能否在无需事先知晓任务关系的情况下，有效发现多任务学习中的潜在任务分组与共享特征空间？
• RQ2 如何编码任务组之间的层次结构，以实现在可能分组的指数级庞大空间中的高效搜索？
• RQ3 与最先进多任务学习算法相比，所提方法在泛化能力和性能上的提升程度如何？
• RQ4 所提公式能否在保持计算效率的同时，同时学习任务分组与共享特征？
• RQ5 基于图的正则化器对发现有意义且结构一致的任务簇有何影响？

主要发现

• 所提出的凸公式能够以计算高效的方式成功发现任务分组与共享特征空间。
• 主动集算法在发现任务组数量的多项式时间内实现收敛，确保可扩展性。
• 在基准数据集上的实证结果表明，该方法泛化能力良好，并在某些设置下优于最先进多任务学习算法。
• 基于图的正则化器有效编码了任务组层次结构，使算法能够避免冗余搜索，提升效率。
• 该方法在未预先知晓结构的情况下，仍能有效识别具有共享特征的相关任务有意义簇。
• 该公式具有鲁棒性和可扩展性，且保证在用户定义的精度范围内收敛。