[论文解读] Controllable Pareto Multi-Task Learning

Xi Lin, Zhiyuan Yang+2 more|arXiv (Cornell University)|Oct 13, 2020

Machine Learning and Data Classification参考文献 54被引用 22

一句话总结

本文提出了一种可调控的Pareto多任务学习框架，通过单一基于超网络的模型实现实时任务间权衡控制。通过将模型参数条件化为偏好向量，该方法端到端学习整个Pareto前沿，无需训练和存储多个模型，从而在基准数据集上取得强劲的实证结果，实现多样化多任务学习应用中的高效、动态性能调节。

ABSTRACT

A multi-task learning (MTL) system aims at solving multiple related tasks at the same time. With a fixed model capacity, the tasks would be conflicted with each other, and the system usually has to make a trade-off among learning all of them together. For many real-world applications where the trade-off has to be made online, multiple models with different preferences over tasks have to be trained and stored. This work proposes a novel controllable Pareto multi-task learning framework, to enable the system to make real-time trade-off control among different tasks with a single model. To be specific, we formulate the MTL as a preference-conditioned multiobjective optimization problem, with a parametric mapping from preferences to the corresponding trade-off solutions. A single hypernetwork-based multi-task neural network is built to learn all tasks with different trade-off preferences among them, where the hypernetwork generates the model parameters conditioned on the preference. For inference, MTL practitioners can easily control the model performance based on different trade-off preferences in real-time. Experiments on different applications demonstrate that the proposed model is efficient for solving various MTL problems.

研究动机与目标

• 为解决多任务学习（MTL）中冲突任务在实际应用中需要动态权衡的挑战。
• 消除为不同权衡偏好训练和存储多个模型的需求，避免成本高昂且效率低下。
• 开发一种统一的、可端到端训练的框架，根据用户指定的偏好生成多样化的Pareto最优解。
• 通过单一学习模型实现实时推理阶段的任务性能权衡控制。

提出的方法

• 将多任务学习建模为基于偏好的多目标优化问题，其中偏好映射到Pareto前沿上的特定权衡解。
• 设计一种基于超网络的多任务学习架构，根据输入的偏好向量生成特定于任务的模型参数。
• 使用从偏好到权衡解的参数化映射，实现在Pareto前沿上的连续且可控插值。
• 使用单一模型端到端训练整个系统，共享表征与通过超网络生成的特定任务头。
• 集成偏好嵌入与块嵌入，以高效表示特定任务和共享参数。
• 使用标准深度学习训练过程（如Adam、交叉熵、L1损失）优化模型，各任务间使用平衡的超参数。

实验结果

研究问题

• RQ1 单一多任务学习模型能否在多个任务上学习到完整的Pareto前沿权衡解？
• RQ2 基于偏好的超网络能否实现在推理阶段对任务性能权衡的实时、动态控制？
• RQ3 与为不同权衡训练多个独立模型相比，所提方法在效率和性能方面表现如何？
• RQ4 该方法能否扩展到具有大量任务或复杂架构的大规模多任务学习问题？

主要发现

• 所提方法成功学习到多任务学习问题的完整Pareto前沿，实现单一模型下的实时权衡控制。
• 在MultiMNIST、CityScapes、NYUv2和CIFAR-100（20个任务）上的实验表明，方法在多样化多任务任务中表现一致。
• 与基线多任务学习模型相比，该模型在性能上具有竞争力或更优，同时消除了对多个模型存储的需求。
• 该方法在大规模多任务学习问题中表现出良好可扩展性，包括20个任务的情况，展现出鲁棒性与泛化能力。
• 推理阶段基于偏好的控制使从业者能够无需重新训练即可动态调整性能权衡。