[论文解读] Co-Clustering for Multitask Learning

Keerthiram Murugesan, Jaime Carbonell+1 more|arXiv (Cornell University)|Mar 3, 2017

Advanced Clustering Algorithms Research参考文献 20被引用 7

一句话总结

该论文提出了一种新颖的多任务学习框架，通过灵活的矩阵分解联合学习任务与特征共聚类，实现具有不同任务与特征聚类数的共享潜在表征。利用共轭梯度下降法与广义Sylvester方程，该方法在基准数据集上实现了最先进性能，在分类与迁移学习设置下均优于现有多任务学习基线方法。

ABSTRACT

This paper presents a new multitask learning framework that learns a shared representation among the tasks, incorporating both task and feature clusters. The jointly-induced clusters yield a shared latent subspace where task relationships are learned more effectively and more generally than in state-of-the-art multitask learning methods. The proposed general framework enables the derivation of more specific or restricted state-of-the-art multitask methods. The paper also proposes a highly-scalable multitask learning algorithm, based on the new framework, using conjugate gradient descent and generalized extit{Sylvester equations}. Experimental results on synthetic and benchmark datasets show that the proposed method systematically outperforms several state-of-the-art multitask learning methods.

研究动机与目标

• 解决现有多任务学习方法的局限性，即要么学习任务关系，要么学习共享特征表征，但无法同时实现两者。
• 克服先前共聚类方法中任务聚类数必须等于特征聚类数的限制性假设。
• 开发一种可扩展且高效的算法，用于大规模多任务学习，利用结构化优化。
• 通过在共享潜在子空间中联合建模任务与特征关系，实现更好的泛化与迁移性能。

提出的方法

• 提出BiFactor MTL模型，将任务参数分解为共享潜在特征矩阵F与任务结构矩阵G，实现低秩表征学习。
• 引入TriFactor MTL模型，增加额外因子S，实现任务与特征的独立聚类，相比BiFactor MTL具有更高的灵活性。
• 采用广义Sylvester方程建模优化问题，通过共轭梯度下降法实现高效求解。
• 使用共轭梯度下降法求解大规模优化问题，确保在高维多任务设置下的可扩展性。
• 通过矩阵分解与交替优化推导学习过程，最小化一个正则化目标函数，以促进低秩与聚类结构。
• 通过隐式学习共享特征表征，利用输出核学习原理，捕捉任务间与特征间的关系。

实验结果

研究问题

• RQ1 与仅学习其中一项的模型相比，联合学习任务与特征共聚类是否能提升多任务学习性能？
• RQ2 允许任务与特征聚类数量不同，是否能带来更好的泛化与表征学习效果？
• RQ3 所提出的框架能否高效扩展至包含大量任务与特征的大规模多任务学习问题？
• RQ4 在迁移学习场景中，所学的共享表征对新出现的未见任务的泛化能力如何？
• RQ5 TriFactor MTL中的额外因子化是否显著优于BiFactor MTL与现有最先进方法？

主要发现

• TriFactor MTL在所有基准数据集上均取得最高F1值，在126个任务的情感检测实验中，平均F1得分为0.632，显著优于GO-MTL（0.539）与BiFactor（0.574）。
• 在20 Newsgroups数据集上，TriFactor MTL在五个任务上的平均F1得分为0.54，优于BiFactor MTL（0.51）与GO-MTL（0.49），展现出更强的迁移学习能力。
• 该方法在所有测试的合成与真实世界数据集上，系统性地优于最先进多任务学习基线方法，包括CMTL、MTFL与SHAMO。
• 结合共轭梯度下降与广义Sylvester方程的使用，实现了高效优化，使该方法可扩展至包含数千个任务的大规模多任务学习场景。
• TriFactor MTL中对任务与特征的灵活聚类优于BiFactor MTL中假设聚类数相等的设定，验证了独立聚类建模的重要性。
• 在迁移学习实验中，TriFactor MTL在仅使用10%训练数据子集的情况下，能有效适应新目标任务，证实了知识迁移的有效性。