[论文解读] Efficient and Scalable Multi-task Regression on Massive Number of Tasks

Xiao He, Francesco Alesiani+1 more|arXiv (Cornell University)|Nov 14, 2018

Machine Learning and ELM被引用 4

一句话总结

本文提出CCMTL，一种新颖的多任务回归方法，通过在预测模型的k近邻图上进行凸聚类，实现大规模任务数量下的高效、可扩展学习。该方法实现线性可扩展性与全局收敛性，在23,812个任务上仅需30秒训练时间，显著快于以往方法所需数小时甚至数天的时间。

ABSTRACT

Many real-world large-scale regression problems can be formulated as Multi-task Learning (MTL) problems with a massive number of tasks, as in retail and transportation domains. However, existing MTL methods still fail to offer both the generalization performance and the scalability for such problems. Scaling up MTL methods to problems with a tremendous number of tasks is a big challenge. Here, we propose a novel algorithm, named Convex Clustering Multi-Task regression Learning (CCMTL), which integrates with convex clustering on the k-nearest neighbor graph of the prediction models. Further, CCMTL efficiently solves the underlying convex problem with a newly proposed optimization method. CCMTL is accurate, efficient to train, and empirically scales linearly in the number of tasks. On both synthetic and real-world datasets, the proposed CCMTL outperforms seven state-of-the-art (SoA) multi-task learning methods in terms of prediction accuracy as well as computational efficiency. On a real-world retail dataset with 23,812 tasks, CCMTL requires only around 30 seconds to train on a single thread, while the SoA methods need up to hours or even days.

研究动机与目标

• 解决将多任务学习扩展至包含数十万任务的问题，此类问题在零售和交通领域中十分常见。
• 克服现有多任务学习方法存在的超线性扩展问题或假设所有任务均相关所带来的局限性。
• 开发一种通过聚类捕捉任务关系的方法，同时保持计算效率与收敛性保证。
• 实现在实际大规模应用中多任务回归的可行部署，其中训练时间与准确性至关重要。
• 为现有任务聚类方法提供一种可扩展的替代方案，这些方法在大规模任务集上计算成本过高。

提出的方法

• 将多任务回归建模为一个正则化优化问题，结合预测误差最小化与任务权重向量上的凸聚类惩罚项。
• 在预测模型上构建k近邻（k-NN）图，以定义任务相似性并指导聚类过程。
• 采用任务权重差异的ℓ₂范数作为聚类正则化项，确保凸性与稳定的聚类行为。
• 提出一种新优化算法，可收敛至全局最优解，从而实现可靠且高效的训练。
• 将k-NN图结构整合进凸聚类目标中，实现自适应地分组相似任务，而无需预设聚类数量。
• 采用具有收敛性保证的对偶上升法，确保在大规模任务集上具备鲁棒性与可扩展性。

实验结果

研究问题

• RQ1 在预测模型的k-NN图上进行凸聚类，能否在大规模多任务回归中有效分组相关任务？
• RQ2 所提出的CCMTL方法是否在任务数量上实现线性可扩展性，而不同于现有SOTA方法的超线性扩展？
• RQ3 在合成数据集与真实世界数据集上，CCMTL与现有最先进多任务学习方法相比，在预测准确率与训练效率方面表现如何？
• RQ4 在包含数万个任务的真实世界数据集（如零售销售预测）上，CCMTL能否保持高性能与低训练时间？
• RQ5 所提出的优化方法是否保证收敛至全局最优解？其速度与现有求解器相比如何？

主要发现

• CCMTL在合成数据集与真实世界数据集上均达到最先进预测准确率，优于七种SOTA多任务学习方法。
• 在包含23,812个任务的真实零售数据集上，CCMTL在单线程上仅需约30秒完成训练，而SOTA方法则需数小时甚至数天。
• CCMTL在训练时间上表现出与任务数量的线性可扩展性，该结论已通过最大达160,000个任务的数据集实验验证。
• 在所有对比方法中，仅有CCMTL与RMTL展现出线性运行时间扩展；其余方法均呈现超线性增长，其中FuseMTL、MTFactor与TriFactor在24小时内无法完成40,000个任务的运行。
• 补充材料中的回归分析证实，CCMTL的运行时间呈线性增长，而其他方法则呈二次方增长。
• CCMTL在聚类正则化项中使用ℓ₂范数，性能优于采用ℓ₁或平方ℓ₂范数的方法（如FuseMTL与SRMTL）。