[论文解读] Efficient Multi-Objective Optimization for Deep Learning.

Michael Ruchte, Josif Grabocka|arXiv (Cornell University)|Mar 24, 2021

Advanced Multi-Objective Optimization Algorithms参考文献 29被引用 9

一句话总结

该论文提出了一种可扩展的多目标优化方法，通过将偏好向量直接嵌入特征空间来调节神经网络，同时利用角度惩罚正则化保持帕累托前沿的均匀分布。该方法在CelebA数据集上对EfficientNet的训练时间仅增加7%，即可实现最先进的帕累托前沿质量，优于以往方法在速度和可扩展性方面的表现。

ABSTRACT

Multi-objective optimization (MOO) is a prevalent challenge for Deep Learning, however, there exists no scalable MOO solution for truly deep neural networks. Prior work either demand optimizing a new network for every point on the Pareto front, or induce a large overhead to the number of trainable parameters by using hyper-networks conditioned on modifiable preferences. In this paper, we propose to condition the network directly on these preferences by augmenting them to the feature space. Furthermore, we ensure a well-spread Pareto front by penalizing the solutions to maintain a small angle to the preference vector. In a series of experiments, we demonstrate that our Pareto fronts achieve state-of-the-art quality despite being computed significantly faster. Furthermore, we showcase the scalability as our method approximates the full Pareto front on the CelebA dataset with an EfficientNet network at a tiny training time overhead of 7% compared to a simple single-objective optimization. We make our code publicly available at this https URL

研究动机与目标

• 解决深度神经网络缺乏可扩展的多目标优化解决方案的问题。
• 克服以往方法的局限性，即每个帕累托点都需要单独训练网络，或通过超网络引入过多参数开销。
• 实现在训练过程中对完整帕累托前沿的高效、实时近似。
• 通过相对于偏好向量的角度正则化，确保帕累托前沿上解的均匀分布。

提出的方法

• 该方法将偏好向量直接增强到输入特征空间，使网络能够在不改变架构的前提下，基于这些偏好来调节其输出。
• 引入一种角度惩罚损失，以最小化解向量与偏好向量之间的夹角，从而确保帕累托前沿的多样性与覆盖度。
• 该方法避免为每个目标单独训练网络或使用超网络，从而显著降低参数与计算开销。
• 该方法与标准深度学习框架兼容，并可无缝集成到现有训练流程中。
• 通过修改损失函数，利用标准反向传播技术，基于偏好条件化的特征表示联合优化多个目标。
• 训练过程保持高效，对于EfficientNet等大型模型，仅在单目标训练基础上增加7%的开销。

实验结果

研究问题

• RQ1 多目标深度学习能否在不产生过高训练成本或架构复杂性的情况下，扩展到EfficientNet等大型模型？
• RQ2 在优化过程中，如何在不依赖多次网络重训练的情况下，保持帕累托前沿的均匀分布？
• RQ3 与现有方法相比，特征空间中的偏好条件化在多大程度上能提升帕累托前沿质量？
• RQ4 与传统多目标优化方法相比，使用基于偏好的条件化来维持完整帕累托前沿的计算开销如何？

主要发现

• 所提方法在多个基准测试中均实现了最先进的帕累托前沿质量，优于现有方法在解多样性与收敛性方面的表现。
• 在使用EfficientNet处理CelebA数据集时，该方法仅增加7%的训练时间开销，即可计算出完整的帕累托前沿。
• 角度惩罚正则化有效维持了帕累托前沿上解的均匀分布，防止了解的聚集。
• 该方法在深度网络上表现出高效的可扩展性，证明了其在真实世界深度学习应用中的可行性。
• 该方法避免了对超网络或按目标重新训练的需求，显著降低了参数与计算开销。
• 代码已公开发布，支持可复现性，并推动可扩展多目标深度学习的进一步研究。