[论文解读] Multi-Objective Automatic Machine Learning with AutoxgboostMC

Florian Pfisterer, Stefan Coors+2 more|arXiv (Cornell University)|Aug 28, 2019

Machine Learning and Data Classification参考文献 44被引用 15

一句话总结

本文提出 AutoxgboostMC，一种多目标自动化机器学习框架，通过使用代理模型的贝叶斯优化，同时优化用户定义的多个标准（如预测性能、公平性和可解释性）的机器学习流水线。主要贡献在于构建了一个透明且交互式的系统，生成一组权衡解决方案的帕累托前沿，使用户能够选择与其特定偏好一致的模型。该方法在公平性和鲁棒性方面优于单目标基线模型，同时保持了具有竞争力的预测准确性。

ABSTRACT

AutoML systems are currently rising in popularity, as they can build powerful models without human oversight. They often combine techniques from many different sub-fields of machine learning in order to find a model or set of models that optimize a user-supplied criterion, such as predictive performance. The ultimate goal of such systems is to reduce the amount of time spent on menial tasks, or tasks that can be solved better by algorithms while leaving decisions that require human intelligence to the end-user. In recent years, the importance of other criteria, such as fairness and interpretability, and many others have become more and more apparent. Current AutoML frameworks either do not allow to optimize such secondary criteria or only do so by limiting the system's choice of models and preprocessing steps. We propose to optimize additional criteria defined by the user directly to guide the search towards an optimal machine learning pipeline. In order to demonstrate the need and usefulness of our approach, we provide a simple multi-criteria AutoML system and showcase an exemplary application.

研究动机与目标

• 为应对日益增长的需求，即自动化机器学习系统需在预测性能之外，同时优化公平性、可解释性和鲁棒性等多项目标。
• 提供一个透明且交互式的框架，使用户能够引导搜索过程，以实现对相互竞争目标之间偏好权衡的探索。
• 证明同时优化多个目标可带来比单目标优化更优的整体模型质量与用户契合度。
• 开发并验证用于抽象标准（如公平性和可解释性）在自动化机器学习流水线中的实用、可度量的代理指标。
• 在单学习器自动化机器学习系统的基础上，通过引入多准则优化，扩展其能力，同时不限制模型或预处理的选择。

提出的方法

• 该框架使用贝叶斯优化与随机森林代理模型，以在复杂的、分层的超参数和预处理步骤搜索空间中进行导航。
• 支持用户定义的多个目标函数，如最小平均类别误差（mmce）、公平性 F1（fairF1）等。
• 优化过程生成一组非支配解的帕累托前沿，代表所有目标之间的最优权衡。
• 用户可通过指定目标值的投影范围（例如 0.1 到 0.9）进行交互式优化，聚焦于帕累托前沿中偏好的区域。
• 系统支持增量调优：用户可将搜索预算扩展（例如从 20 次迭代增加到 120 次迭代），并观察解向更优方向收敛。
• 该框架作为 autoxgboost 的扩展实现，以 XGBoost 作为基础估计器，同时支持多目标配置。

实验结果

研究问题

• RQ1 自动化机器学习系统能否在不限制模型或预处理选择的前提下，有效优化用户定义的多个目标（如公平性和可解释性）？
• RQ2 在真实场景中，通过帕累托前沿实现的多目标优化，相较于单目标优化，在模型选择方面有何改进？
• RQ3 在自动化机器学习背景下，如何为抽象的机器学习标准（如公平性和可解释性）设计有效且可度量的代理指标？
• RQ4 用户在多大程度上可通过对目标投影施加交互式约束来引导优化过程？
• RQ5 在预测准确性与公平性方面，多目标自动化机器学习相较于单目标基线模型表现如何？

主要发现

• AutoxgboostMC 生成的帕累托前沿包含显著提升公平性的解决方案（fairF1 最高达 0.096），同时在测试集上保持具有竞争力的预测性能（mmce ≈ 0.142）。
• 经过 120 次调优迭代后，该框架在测试集上实现了 0.096 的公平性 F1，优于仅优化 mmce 的单目标基线模型（公平性为 0.000）。
• 系统成功识别出 mmce ≈ 0.130 且 fairF1 ≈ 0.096 的模型，证明了在准确率与公平性之间实现可行权衡的可能性。
• 帕累托前沿随时间演化，120 次迭代后的最终前沿显示出更优的收敛性与对高性能、公平模型的更好覆盖。
• 从帕累托前沿中选择的模型实现了更高的公平性得分（最高达 0.116），显著优于单目标方法（0.000），证明了多准则优化的价值。
• 交互式约束机制使用户能够聚焦于偏好的权衡区域，例如在指定范围内（0.1–0.9）平衡 mmce 与 fairF1。