[论文解读] Multi-Objective Learning to Predict Pareto Fronts Using Hypervolume Maximization

Timo M. Deist, Monika Grewal+3 more|arXiv (Cornell University)|Feb 8, 2021

Advanced Multi-Objective Optimization Algorithms被引用 5

一句话总结

本文提出了一种多目标学习框架，通过在无需预先指定用户偏好权衡的情况下，训练神经网络以预测每个样本的分布良好、均匀的Pareto前沿近似解。通过采用基于动态梯度的损失加权策略进行超体积最大化，该方法在对称性较差的Pareto前沿上实现了优于现有最先进方法的覆盖效果。

ABSTRACT

Real-world problems are often multi-objective with decision-makers unable to specify a priori which trade-off between the conflicting objectives is preferable. Intuitively, building machine learning solutions in such cases would entail providing multiple predictions that span and uniformly cover the Pareto front of all optimal trade-off solutions. We propose a novel approach for multi-objective training of neural networks to approximate the Pareto front during inference. In our approach, the neural networks are trained multi-objectively using a dynamic loss function, wherein each network's losses (corresponding to multiple objectives) are weighted by their hypervolume maximizing gradients. We discuss and illustrate why training processes to approximate Pareto fronts need to optimize on fronts of individual training samples instead of on only the front of average losses. Experiments on three multi-objective problems show that our approach returns outputs that are well-spread across different trade-offs on the approximated Pareto front without requiring the trade-off vectors to be specified a priori. Further, results of comparisons with the state-of-the-art approaches highlight the added value of our proposed approach, especially in asymmetric Pareto fronts.

研究动机与目标

• 解决在真实世界应用中用户偏好事先未知时，生成分布良好、多样化的Pareto前沿解的挑战。
• 克服线性标量化和固定权衡方法在有效覆盖非对称Pareto前沿方面的局限性。
• 通过训练模型在每个样本上输出多个近似最优权衡，实现事后的决策制定，而无需用户指定偏好向量。
• 证明在样本上平均损失进行训练不足以实现单个样本Pareto前沿上分布良好的预测。
• 提供一种可扩展、泛化能力强的方法，适用于各种机器学习模型，特别是神经网络，用于多目标推理。

提出的方法

• 该方法采用动态损失函数，其中每个网络的损失根据其超体积最大化梯度进行加权，从而实现在每个样本上对多个目标的联合优化。
• 使用超体积（HV）作为优化目标，以确保在目标空间中Pareto前沿上预测结果的多样性和均匀分布。
• 该方法训练一组独立的神经网络，每个网络负责生成Pareto前沿上的一个预测结果，损失权重根据HV梯度动态调整。
• 在目标空间中使用一个参考点来定义超体积，建议使用随机初始化网络的缩放后损失作为实际应用中的默认设置。
• 通过让优化过程自然探索整个Pareto前沿，避免预先指定权衡向量。
• 该框架具有通用性，可应用于任意数量的目标和预测结果，尽管在高维情况下通过近似方法控制计算复杂度。

实验结果

研究问题

• RQ1 使用基于超体积最大化的多目标训练是否能在无需预先指定用户偏好权衡的情况下，生成分布良好、多样的Pareto前沿预测？
• RQ2 当Pareto前沿呈现非对称性时，基于HV的训练与固定标量化方法相比表现如何？
• RQ3 在样本上平均损失的训练是否足以实现单个样本Pareto前沿上分布良好的预测？
• RQ4 在传统标量化方法因前沿非对称性而失效的情况下，所提方法是否能有效覆盖整个Pareto前沿？
• RQ5 损失缩放和参考点选择对Pareto前沿近似质量与覆盖范围有何影响？

主要发现

• 所提出的基于HV最大化的方案在非对称Pareto前沿上的覆盖效果显著优于依赖预设权衡的最先进方法。
• 实验表明，在样本上平均损失训练无法产生单个样本前沿上分布良好的预测，尤其在凸形或凹形情况下更为明显。
• 该方法成功生成了Pareto前沿上均匀分布的预测结果，且无需用户预先定义权衡向量。
• 即使损失基于初始幅度进行了缩放，该方法仍优于固定标量化方法，表明问题本质是结构性的，而非仅与尺度相关。
• 参考点可通过随机初始化网络的缩放后损失有效设定，从而简化超参数调优。
• 该方法在多种任务中具有泛化能力，包括多目标分割和神经风格迁移，展现出实际应用潜力。