[论文解读] Revisiting Scalarization in Multi-Task Learning: A Theoretical Perspective

Yuzheng Hu, Ruicheng Xian+4 more|arXiv (Cornell University)|Aug 27, 2023

Machine Learning and Data Classification被引用 5

一句话总结

本文对多任务学习中的线性标量化进行了理论分析，揭示了由于可行域中存在多表面结构，线性标量化在本质上无法完全探索帕累托前沿——尤其是平衡权衡——的问题。作者建立了实现完全探索的必要和充分条件，并表明专用多任务优化器（SMTO）能够找到通过标量化无法达到的解，该结论在真实世界数据上的实验中得到了验证。

ABSTRACT

Linear scalarization, i.e., combining all loss functions by a weighted sum, has been the default choice in the literature of multi-task learning (MTL) since its inception. In recent years, there is a surge of interest in developing Specialized Multi-Task Optimizers (SMTOs) that treat MTL as a multi-objective optimization problem. However, it remains open whether there is a fundamental advantage of SMTOs over scalarization. In fact, heated debates exist in the community comparing these two types of algorithms, mostly from an empirical perspective. To approach the above question, in this paper, we revisit scalarization from a theoretical perspective. We focus on linear MTL models and study whether scalarization is capable of fully exploring the Pareto front. Our findings reveal that, in contrast to recent works that claimed empirical advantages of scalarization, scalarization is inherently incapable of full exploration, especially for those Pareto optimal solutions that strike the balanced trade-offs between multiple tasks. More concretely, when the model is under-parametrized, we reveal a multi-surface structure of the feasible region and identify necessary and sufficient conditions for full exploration. This leads to the conclusion that scalarization is in general incapable of tracing out the Pareto front. Our theoretical results partially answer the open questions in Xin et al. (2021), and provide a more intuitive explanation on why scalarization fails beyond non-convexity. We additionally perform experiments on a real-world dataset using both scalarization and state-of-the-art SMTOs. The experimental results not only corroborate our theoretical findings, but also unveil the potential of SMTOs in finding balanced solutions, which cannot be achieved by scalarization.

研究动机与目标

• 从理论角度探究线性标量化是否能够完全探索多任务学习中的帕累托前沿。
• 识别标量化在捕捉冲突任务之间平衡权衡方面的根本局限性。
• 为在非凸设置下实现标量化对帕累托前沿的完全探索，提供必要和充分条件。
• 比较标量化与专用多任务优化器（SMTO）在理论和实证能力上的差异。
• 提出并验证一种基于随机化的补救方法，以部分克服标量化固有的局限性。

提出的方法

• 对线性多任务模型中可行域的理论分析，识别出限制标量化的多表面结构。
• 基于梯度不一致性和任务特定损失几何结构，推导标量化达到任意帕累托最优解的必要和充分条件。
• 使用奇异值分解（SVD）在无需训练的情况下计算标量化目标的最优解，从而高效评估整个权重空间。
• 在SARCOS机器人控制数据集上实现并比较最先进的SMTO——MGDA和MGDA-UB。
• 随机化标量化策略：通过随机加权组合两个独立优化的模型，以扩展可实现区域。
• 通过采样100,000个权重向量和300次随机初始化进行实证评估，以衡量解的覆盖范围和鲁棒性。

实验结果

研究问题

• RQ1 在线性模型的多任务学习中，线性标量化能否完全探索帕累托前沿？
• RQ2 标量化能够达到任意帕累托最优解的必要和充分条件是什么？
• RQ3 为何即使在最优超参数下，标量化仍无法找到平衡权衡的解？
• RQ4 MGDA和MGDA-UB等SMTO是否能实现通过任何标量化都无法达到的解？
• RQ5 对标量化模型进行随机化是否能恢复完全探索能力？

主要发现

• 由于可行域中存在多表面结构，标量化在本质上无法完全探索帕累托前沿，尤其是在梯度不一致存在的情况下。
• 实现完全探索的必要和充分条件在一般情况下并不满足，特别是在线性模型中，对平衡权衡解的探索也存在困难。
• 在SARCOS数据集上的实验表明，MGDA和MGDA-UB始终能发现帕累托前沿内部的解，而标量化无法触及这些区域。
• 通过组合两个独立优化模型的随机化线性标量化方法，成功填补了帕累托前沿中的空缺，验证了理论分析。
• SMTO在寻找平衡解方面优于标量化，展现出超越经验超参数调优的根本优势。
• 标量化失败的原因并非仅源于非凸性，而是源于可行域几何结构的固有局限性。