[论文解读] Improving Accuracy of Interpretability Measures in Hyperparameter Optimization via Bayesian Algorithm Execution

Julia Moosbauer, Giuseppe Casalicchio+2 more|arXiv (Cornell University)|Jun 11, 2022

Machine Learning and Data Classification被引用 4

一句话总结

本文提出 BOBAX，一种贝叶斯优化框架，通过部分依赖图（PDPs）联合优化超参数调优性能与准确的可解释性。通过整合贝叶斯算法执行（BAX）以最大化可解释性模型（IML）估计的期望信息增益（EIG），BOBAX 在不损失优化效率的前提下，显著提升了 PDP 的可靠性，实现了可信的、实时的可解释性，适用于超参数优化。

ABSTRACT

Despite all the benefits of automated hyperparameter optimization (HPO), most modern HPO algorithms are black-boxes themselves. This makes it difficult to understand the decision process which leads to the selected configuration, reduces trust in HPO, and thus hinders its broad adoption. Here, we study the combination of HPO with interpretable machine learning (IML) methods such as partial dependence plots. These techniques are more and more used to explain the marginal effect of hyperparameters on the black-box cost function or to quantify the importance of hyperparameters. However, if such methods are naively applied to the experimental data of the HPO process in a post-hoc manner, the underlying sampling bias of the optimizer can distort interpretations. We propose a modified HPO method which efficiently balances the search for the global optimum w.r.t. predictive performance \emph{and} the reliable estimation of IML explanations of an underlying black-box function by coupling Bayesian optimization and Bayesian Algorithm Execution. On benchmark cases of both synthetic objectives and HPO of a neural network, we demonstrate that our method returns more reliable explanations of the underlying black-box without a loss of optimization performance.

研究动机与目标

• 解决超参数优化（HPO）中的采样偏差问题，该问题会扭曲事后可解释性方法（如部分依赖图，PDPs）的准确性。
• 在 HPO 过程中实现对超参数边际效应的可靠、准确估计，而非依赖于基于偏差数据的事后分析。
• 开发一种通用且高效的算法，平衡自动化机器学习中优化性能与可解释性质量。
• 通过为 IML 估计设置期望的精度阈值，使实践者能够更早地与可解释结果进行交互。
• 通过提供准确、实时的解释，提升对自动化机器学习系统决策过程的可信度。

提出的方法

• 将贝叶斯优化（BO）与贝叶斯算法执行（BAX）相结合，联合优化预测性能与可解释性。
• 使用期望信息增益（EIG）作为替代目标函数，引导采样向能提升 PDP 估计准确性的配置方向进行。
• 以联合方式计算多个超参数（如初始学习率、dropout 率、权重衰减）的 PDP 的 EIG，以提升全局可解释性。
• 采用自适应变体（a-BOBAX），优先关注可解释性，直到用户定义的置信区间阈值（例如 ±1.5% 准确性）被满足，之后恢复为纯优化模式。
• 利用 BO 的代理模型定量估计 IML 统计量，确保解释基于可靠且具备不确定性感知的模型。
• 支持任何 BO 变体，并可扩展至 PDP 以外的其他 IML 方法，如置换重要性或 SHAP。

实验结果

研究问题

• RQ1 我们能否在不降低优化性能的前提下，提升超参数优化中解释度量（如部分依赖图）的准确性？
• RQ2 如何将可解释性目标直接整合进贝叶斯优化循环中，以减少 IML 估计中的采样偏差？
• RQ3 通过使用自适应置信度阈值，我们能否更早地获得可靠的 IML 估计？
• RQ4 与标准 BO 和 BAX 相比，所提出的方法是否保持了具有竞争力的优化性能？
• RQ5 该方法在真实世界的 HPO 问题（如神经网络超参数调优）中具有多大程度的可扩展性？

主要发现

• a-BOBAX 在达到期望的 PDP 精度阈值（±1.5% 准确性点）方面显著快于标准 BO 和 BAX，实现了更早的可靠解释。
• a-BOBAX 的最终 PDP 估计精度与随机搜索（RS）相当，证明了其在解释质量上的高度可靠性。
• a-BOBAX 的优化性能与使用期望改进（EI）的标准 BO 相当，保持了高水平的预测性能。
• 该方法通过主动平衡性能与可解释性的探索，减少了因超参数空间中采样不足区域导致的误导性解释。
• 在 15 个多样化数据集上的实证结果表明，该方法在不同 HPO 场景下均一致提升了 PDP 的准确性，且对数据集特定特征表现出强鲁棒性。
• 与训练和验证神经网络配置的成本相比，BOBAX 的计算开销可忽略不计，使其在真实场景中具有实用性。