[论文解读] Multi-objective Asynchronous Successive Halving

Robin Schmucker, Michele Donini+3 more|arXiv (Cornell University)|Jun 23, 2021

Distributed and Parallel Computing Systems参考文献 61被引用 8

一句话总结

本文提出多目标异步逐次减半（MO ASHA），作为 ASHA 在可扩展多目标超参数优化（MO-HPO）中的扩展，利用帕累托前沿几何结构进行候选选择。在神经架构搜索、公平性感知学习和语言建模任务中，MO ASHA 在实际运行时间上优于基于标量化的方法，其中基于 EpsNet 的选择策略在真实任务中表现最强。

ABSTRACT

Hyperparameter optimization (HPO) is increasingly used to automatically tune the predictive performance (e.g., accuracy) of machine learning models. However, in a plethora of real-world applications, accuracy is only one of the multiple -- often conflicting -- performance criteria, necessitating the adoption of a multi-objective (MO) perspective. While the literature on MO optimization is rich, few prior studies have focused on HPO. In this paper, we propose algorithms that extend asynchronous successive halving (ASHA) to the MO setting. Considering multiple evaluation metrics, we assess the performance of these methods on three real world tasks: (i) Neural architecture search, (ii) algorithmic fairness and (iii) language model optimization. Our empirical analysis shows that MO ASHA enables to perform MO HPO at scale. Further, we observe that that taking the entire Pareto front into account for candidate selection consistently outperforms multi-fidelity HPO based on MO scalarization in terms of wall-clock time. Our algorithms (to be open-sourced) establish new baselines for future research in the area.

研究动机与目标

• 解决深度学习中缺乏可扩展、真实场景下的多目标超参数优化（MO-HPO）方法的问题。
• 将异步逐次减半（ASHA）扩展至多目标设置，以实现高效、并行且支持早期停止的 HPO。
• 评估基于帕累托前沿近似几何结构的策略是否在实践中优于基于标量化的方法。
• 在涉及冲突目标（如准确率、公平性、延迟和困惑度）的多样化真实任务中，建立新的 MO-HPO 基线。
• 在 AutoGluon 中开源所提出的算法，以促进社区采用和未来研究。

提出的方法

• 通过在多个保真度级别上维护帕累托前沿近似，将异步逐次减半（ASHA）扩展至多目标优化。
• 采用两种选择策略：(1) 基于标量化的方法（如加权和、切比雪夫）和 (2) 基于几何感知的 EpsNet 方法，以利用帕累托前沿的全局结构。
• 通过逐次减半实现早期停止，以尽早剔除表现较差的配置，从而降低实际运行时间成本。
• 在优化过程中使用非支配排序和超体积度量来评估和比较帕累托前沿近似。
• 支持跨工作节点的异步、分布式执行，实现在大规模 HPO 场景下的高效资源利用。
• 可无缝集成至现有机器学习流水线，无需对模型或目标函数进行特定修改，具备广泛适用性。

实验结果

研究问题

• RQ1 能否在保持可扩展性和效率的前提下，有效将 ASHA 扩展至多目标超参数优化？
• RQ2 利用帕累托前沿近似的完整几何结构是否能带来优于基于标量化方法的 HPO 性能？
• RQ3 在多样化的真实任务中，不同 MO-HPO 策略在收敛速度和最终帕累托前沿质量方面表现如何？
• RQ4 基于几何感知的选择机制（如 EpsNet）是否能显著减少与基于标量化方法相比的实际运行时间？
• RQ5 在公平性感知学习中，这些方法相较于随机搜索和最先进公平性专用方法的性能优势有多大？

主要发现

• 在所有三项真实任务中，基于 EpsNet 的选择策略的 MO ASHA 在被支配超体积和实际运行时间方面均持续优于基于标量化的方法。
• 基于几何感知的方法比标量化方法更快恢复高质量的帕累托前沿，其中 EpsNet 在 Wikitext2 语言建模任务中取得了最佳最终超体积。
• 基于标量化的方法通常仅略好于随机搜索，表明在复杂、高维搜索空间中其有效性有限。
• 在公平性感知学习任务中，MO ASHA 在无需事先知晓公平性阈值的情况下，取得了与模型特定公平性方法（如 FERM、Zafar）相当的性能。
• 在语言建模任务中，随机搜索在大量无产出的配置上浪费了显著的计算资源，凸显了 MO-HPO 中智能探索的优势。
• 所提出的算法在大规模场景下表现有效，语言建模实验中使用了 720 GPU 小时，证明了其实际可行性。