[论文解读] Multi-Objective Hyperparameter Optimization in Machine Learning -- An Overview

Florian Karl, Tobias Pielok+11 more|arXiv (Cornell University)|Jun 15, 2022

Advanced Multi-Objective Optimization Algorithms参考文献 247被引用 12

一句话总结

本文全面概述了机器学习中的多目标超参数优化（MOHPO），倡导其采用以解决超越预测准确性的现实世界权衡问题。文章综述了进化算法与贝叶斯优化方法，展示了其在平衡准确率、效率、公平性和可解释性等目标方面的实用性，并指出MOHPO能够揭示单目标方法常忽略的更优帕累托最优配置。

ABSTRACT

Hyperparameter optimization constitutes a large part of typical modern machine learning workflows. This arises from the fact that machine learning methods and corresponding preprocessing steps often only yield optimal performance when hyperparameters are properly tuned. But in many applications, we are not only interested in optimizing ML pipelines solely for predictive accuracy; additional metrics or constraints must be considered when determining an optimal configuration, resulting in a multi-objective optimization problem. This is often neglected in practice, due to a lack of knowledge and readily available software implementations for multi-objective hyperparameter optimization. In this work, we introduce the reader to the basics of multi-objective hyperparameter optimization and motivate its usefulness in applied ML. Furthermore, we provide an extensive survey of existing optimization strategies, both from the domain of evolutionary algorithms and Bayesian optimization. We illustrate the utility of MOO in several specific ML applications, considering objectives such as operating conditions, prediction time, sparseness, fairness, interpretability and robustness.

研究动机与目标

• 推动在应用机器学习中采用多目标超参数优化（MOHPO），以应对准确率、效率、公平性和可解释性等多重竞争目标共存的现实场景。
• 系统性地综述现有MOHPO方法，重点关注进化算法与贝叶斯优化技术。
• 展示MOHPO相较于单目标调优的实际优势，特别是在揭示多样且高性能的权衡配置方面，这些配置在传统工作流中常被舍弃。
• 识别MOHPO中的开放挑战，包括软件支持有限、缺乏标准化基准，以及用户偏好与公平性度量的整合问题。
• 将MOHPO从监督学习扩展至无监督方法（如聚类与异常检测），这些领域中超参数调优依然关键但研究不足。

提出的方法

• 本文将超参数优化建模为多目标问题，同时优化多个性能指标（如准确率、延迟、稀疏性、公平性）。
• 综述了用于MOHPO的进化算法（如NSGA-II、SPEA2），这些算法通过选择、交叉与变异操作保持非支配解的多样性。
• 考察了用于MOHPO的贝叶斯优化方法，包括多目标设置下的期望超体积改进（EHVI）与期望改进（EI）扩展。
• 作者通过真实世界数据集的案例研究，展示了MOHPO如何识别出在预测性能与特征选择稳定性、模型效率之间实现平衡的帕累托最优配置。
• 倡导由领域专家进行事后决策，基于完整的权衡集合选择最终模型，而非依赖单一指标。
• 本文强调使用独立测试集评估所有目标，以确保稳健性并避免对任一指标的过拟合。

实验结果

研究问题

• RQ1 多目标超参数优化如何在现实机器学习应用中提升模型选择能力，超越单目标调优？
• RQ2 进化算法与贝叶斯优化在解决MOHPO问题时的优势与局限性是什么？
• RQ3 MOHPO在透明度与决策支持方面相较于单目标优化有何增强？
• RQ4 如何有意义地将公平性、可解释性与效率等目标整合进MOHPO框架？
• RQ5 MOHPO在扩展至无监督学习与现实部署场景时面临哪些关键挑战？

主要发现

• MOHPO揭示了单目标调优常被舍弃的帕累托最优配置，包括准确率相当或更优但所选特征更少、稳定性更高的模型。
• 基于模型的优化方法，特别是贝叶斯优化，在所研究基准中显著优于随机搜索，并在性能提升方面超过进化方法。
• 采用多个目标（如预测准确率、特征选择稀疏性与模型稳定性）可构建更稳健且可部署的机器学习流水线。
• 在边缘AI与医疗诊断等应用场景中，MOHPO能够更好地平衡准确率与延迟、内存、假阳/阴性率等约束条件。
• 尽管兴趣日益增长，MOHPO仍因软件支持有限及跨多样化任务与目标缺乏标准化基准而未被充分应用。
• 将公平性与可解释性目标整合进MOHPO正处于发展初期但尚不成熟，表明存在关键的研究空白。