[论文解读] In Defense of the Unitary Scalarization for Deep Multi-Task Learning

Vitaly Kurin, Alessandro De Palma+3 more|arXiv (Cornell University)|Jan 11, 2022

Sparse and Compressive Sensing Techniques被引用 20

一句话总结

本文认为单位标量化（最小化各任务损失之和）在有标准正则化与稳定化技术配套时，在监督学习和强化学习领域均可与专门的多任务优化器（SMTOs）不相上下，甚至优于它们。并进一步将 SMTOs 作为正则化器进行分析，给出统一的实验与理论视角。

ABSTRACT

Recent multi-task learning research argues against unitary scalarization, where training simply minimizes the sum of the task losses. Several ad-hoc multi-task optimization algorithms have instead been proposed, inspired by various hypotheses about what makes multi-task settings difficult. The majority of these optimizers require per-task gradients, and introduce significant memory, runtime, and implementation overhead. We show that unitary scalarization, coupled with standard regularization and stabilization techniques from single-task learning, matches or improves upon the performance of complex multi-task optimizers in popular supervised and reinforcement learning settings. We then present an analysis suggesting that many specialized multi-task optimizers can be partly interpreted as forms of regularization, potentially explaining our surprising results. We believe our results call for a critical reevaluation of recent research in the area.

研究动机与目标

• 评估单位标量化在流行的 MTL 基准上是否匹配或优于复杂的 SMTOs。
• 研究正则化与稳定化技术在提升单位标量化性能中的作用。
• 分析 SMTOs 作为正则化器及其收敛性与泛化行为。
• 提供统一的实验流程与可复现的代码以评估 MTL 优化器。

提出的方法

• 将 MTL 表述为对每个任务损失之和的极小化（单位标量化），并与使用每任务梯度的 SMTOs 进行对比。
• 回顾并实现有代表性的 SMTOs（MGDA、IMTL、PCGrad、GradDrop、RLW），并分析它们的计算开销。
• 在监督学习基准（Multi-MNIST、CelebA、Cityscapes）和强化学习基准（用 SAC 的 Meta-World）上进行评估。
• 在 RL 中融入标准的单任务正则化（dropout、L2、早停），以稳定学习。
• 通过正则化视角分析 SMTOs 并进行消融实验以与正则化的单位标量化进行对比。

实验结果

研究问题

• RQ1 单位标量化 在不同 MTL 设置和数据集上是否与 SMTOs 相当？
• RQ2 标准正则化与稳定化技巧能否弥合单位标量化与 SMTOs 之间的差距？
• RQ3 SMTOs 是否主要作为影响泛化的正则化器，而非严格改进优化？
• RQ4 在深度 MTL 中，单位标量化 与 SMTOs 之间在时间、内存等计算权衡是怎样的？
• RQ5 在共享表示的 RL 情境下，SMTOs 的表现如何对比？

主要发现

• 在结合正则化与稳定化后，单位标量化在监督学习基准上往往可匹配或超过 SMTOs。
• SMTOs 可能表现出更高的训练时间和内存开销，并未对单位标量化形成一致的优越性。
• 正则化（ dropout、L2 ）和早停可减少过拟合，并可缩小单位标量化的性能差距。
• 分析表明 SMTOs 可能通过延迟过拟合和影响收敛特性来充当正则化器。
• 在 RL 场景中，单位标量化 的性能具有竞争力，且计算量显著低于如 PCGrad 等 SMTOs。