[论文解读] Exact Pareto Optimal Search for Multi-Task Learning: Touring the Pareto Front.

Debabrata Mahapatra, Vaibhav Rajan|arXiv (Cornell University)|Aug 2, 2021

Advanced Multi-Objective Optimization Algorithms参考文献 80被引用 6

一句话总结

该论文提出了一种首个在多任务学习（MTL）中具有理论收敛保证的可扩展算法，用于寻找精确帕累托最优（EPO）解，通过梯度下降与受控上升的创新组合，在框约束和等式约束下导航帕累托前沿。该方法实现了对权衡的系统性探索，并在基准MTL数据集上优于现有方法。

ABSTRACT

Multi-Task Learning (MTL) is a well-established paradigm for training deep neural network models for multiple correlated tasks. Often the task objectives conflict, requiring trade-offs between them during model building. In such cases, MTL models can use gradient-based multi-objective optimization (MOO) to find one or more Pareto optimal solutions. A common requirement in MTL applications is to find an {\it Exact} Pareto optimal (EPO) solution, which satisfies user preferences with respect to task-specific objective functions. Further, to improve model generalization, various constraints on the weights may need to be enforced during training. Addressing these requirements is challenging because it requires a search direction that allows descent not only towards the Pareto front but also towards the input preference, within the constraints imposed and in a manner that scales to high-dimensional gradients. We design and theoretically analyze such search directions and develop the first scalable algorithm, with theoretical guarantees of convergence, to find an EPO solution, including when box and equality constraints are imposed. Our unique method combines multiple gradient descent with carefully controlled ascent to traverse the Pareto front in a principled manner, making it robust to initialization. This also facilitates systematic exploration of the Pareto front, that we utilize to approximate the Pareto front for multi-criteria decision-making. Empirical results show that our algorithm outperforms competing methods on benchmark MTL datasets and MOO problems.

研究动机与目标

• 解决多任务学习（MTL）中任务目标冲突且需满足用户偏好的精确帕累托最优（EPO）解的寻找挑战。
• 设计一种搜索方向，可在复杂约束下同时沿帕累托前沿下降并与用户指定偏好对齐。
• 确保在高维梯度空间中具有可扩展性和收敛性，特别是在施加权重约束（如框约束和等式约束）时。
• 实现对多准则决策中帕累托前沿的系统性探索。
• 开发一种对初始化鲁棒的方法，同时保持对EPO解收敛的理论保证。

提出的方法

• 该方法提出一种新颖的搜索方向，通过结合多次梯度下降步骤与受控上升，以系统性方式遍历帕累托前沿。
• 将问题形式化为一个约束优化问题，其中沿帕累托前沿下降，同时通过用户偏好引导上升，以达到EPO解。
• 直接将框约束和等式约束整合到优化过程中，确保训练全程解的可行性。
• 理论分析证明，在所提出的搜索动态下，即使在非凸目标和高维梯度空间中，也能收敛至EPO解。
• 通过调节偏好参数，该方法可实现对帕累托前沿的系统性探索，支持多准则决策。
• 采用对偶优化框架，平衡任务目标的下降与对理想权衡的上升，确保对初始化的鲁棒性。

实验结果

研究问题

• RQ1 如何设计一种在一般约束下可扩展且收敛的算法，以在多任务学习中找到精确帕累托最优（EPO）解？
• RQ2 在约束优化设置下，何种搜索方向可同时实现向帕累托前沿的下降与与用户指定偏好的对齐？
• RQ3 如何在高维MTL问题中保持对初始化的鲁棒性，同时维持理论收敛保证？
• RQ4 所提方法以何种方式可系统性探索帕累托前沿，以支持多准则决策？
• RQ5 框约束和等式约束的整合如何影响MTL中EPO解寻找的收敛性和性能？

主要发现

• 所提算法在框约束和等式约束下实现了对精确帕累托最优（EPO）解的理论收敛，这是在深度MTL背景下首次实现。
• 实验结果表明，该方法在基准MTL数据集上的性能优于现有多种多目标优化方法。
• 通过调节偏好参数，该方法可实现对帕累托前沿的系统性探索，支持明智的多准则决策。
• 由于其基于原理的搜索方向结合了下降与受控上升，该算法对初始化具有鲁棒性。
• 将约束整合到优化过程中并未损害收敛性或可扩展性，即使在高维梯度空间中亦然。
• 在解决方案质量与稳定性方面，该方法在多个MOO问题和MTL基准上均优于现有方法。