[论文解读] Learning the Pareto Front with Hypernetworks

Aviv Navon, Aviv Shamsian+2 more|arXiv (Cornell University)|Oct 8, 2020

Robot Manipulation and Learning参考文献 62被引用 30

一句话总结

本论文提出 Pareto HyperNetworks (PHNs)，以单一统一模型学习多目标问题的整个帕累托前沿，并在推理阶段实现选择任意偏好工作点。

ABSTRACT

Multi-objective optimization (MOO) problems are prevalent in machine learning. These problems have a set of optimal solutions, called the Pareto front, where each point on the front represents a different trade-off between possibly conflicting objectives. Recent MOO methods can target a specific desired ray in loss space however, most approaches still face two grave limitations: (i) A separate model has to be trained for each point on the front; and (ii) The exact trade-off must be known before the optimization process. Here, we tackle the problem of learning the entire Pareto front, with the capability of selecting a desired operating point on the front after training. We call this new setup Pareto-Front Learning (PFL). We describe an approach to PFL implemented using HyperNetworks, which we term Pareto HyperNetworks (PHNs). PHN learns the entire Pareto front simultaneously using a single hypernetwork, which receives as input a desired preference vector and returns a Pareto-optimal model whose loss vector is in the desired ray. The unified model is runtime efficient compared to training multiple models and generalizes to new operating points not used during training. We evaluate our method on a wide set of problems, from multi-task regression and classification to fairness. PHNs learn the entire Pareto front at roughly the same time as learning a single point on the front and at the same time reach a better solution set. Furthermore, we show that PHNs can scale to generate large models like ResNet18. PFL opens the door to new applications where models are selected based on preferences that are only available at run time.

研究动机与目标

• 将 Pareto Front Learning (PFL) 定义为在推理阶段能够为任意给定的目标偏好产生帕累托最优解的模型的学习。
• 开发 Pareto HyperNetworks (PHNs)，使得生成的目标网络权重以偏好向量为条件。
• 提供两种 PHN 训练变体（PHN-LS 和 PHN-EPO），将偏好映射到帕累托最优解。
• 展示对大模型的可扩展性（如 ResNet18），并展示与逐-ray 基线方法相比的运行时和性能优势。

提出的方法

• 将 PHN 形式化为超网络 h(r;φ)，输出在 simplex 上的 m 维偏好向量 r 条件下的目标网络权重 θ_r。
• 通过从 Dirichlet 分布采样 r，并应用线性标量化（PHN-LS）或 Exact Pareto Optimal（PHN-EPO）更新来训练 PHN。
• PHN-LS 通过标准梯度下降优化加权和 ∑i r_i ℓ_i。
• PHN-EPO 使用 EPO 的下降方向沿着由 r 定义的射线移动到帕累托最优点，将梯度以凸性结合。
• 讨论可扩展性策略，包括部分参数生成、超网络归一化层和分块处理以管理大型目标网络。
• 与基线方法（LS、PMTL、EPO、CPMTL）进行比较，并使用超级体积（HV）和均匀性（Uniformity）指标进行评估。

实验结果

研究问题

• RQ1 一个单一的超网络是否能够为帕累托前沿上的任意偏好生成帕累托最优模型？
• RQ2 PHN 是否提供完整前沿覆盖和使用 EPO 更新的严格帕累托最优性？
• RQ3 在任务间 HV 和均匀性方面，PHN-LS 与 PHN-EPO 相对于逐 ray 基线有何比较？
• RQ4 PHN 是否可以扩展到大型架构（如 ResNet18），且参数增长不成比例？
• RQ5 相对于为不同偏好训练多模型，PHN 能带来哪些运行时优势？

主要发现

• PHN 在单一模型中学习整个帕累托前沿，并实现推理时的偏好选择。
• PHN-EPO 实现对查询射线的连续前沿覆盖和严格的帕累托最优点，而 PHN-LS 提供快速的近似。
• 相较于 LS、PMTL 和 EPO 基线，PHN 在多任务分类、公平性、分割和回归任务上提供更优的 HV 和均匀性。
• 通过使用分块(chunking)和参数共享策略，PHN 能显著减少训练时间并扩展到如 ResNet18 这样的大型网络。
• PHN 相较逐 ray 基线在可训练参数数量显著减少的同时维持或改进前沿覆盖。
• PHN 展示出更快的运行时（最多一个数量级），同时在评估数据集上实现有竞争力或更好的 HV。