[论文解读] Explaining Hyperparameter Optimization via Partial Dependence Plots

Julia Moosbauer, Julia Herbinger+3 more|arXiv (Cornell University)|Nov 8, 2021

Advanced Multi-Objective Optimization Algorithms被引用 10

一句话总结

本文提出了一种不确定性感知的局部依赖图（PDPs），用于基于贝叶斯优化的超参数调优，利用代理模型的后验不确定性来指导子区域划分，从而提高结果的可靠性。结果表明，与全局PDP相比，子区域PDP在最优配置附近能提供更自信且更准确的解释。

ABSTRACT

Automated hyperparameter optimization (HPO) can support practitioners to obtain peak performance in machine learning models. However, there is often a lack of valuable insights into the effects of different hyperparameters on the final model performance. This lack of explainability makes it difficult to trust and understand the automated HPO process and its results. We suggest using interpretable machine learning (IML) to gain insights from the experimental data obtained during HPO with Bayesian optimization (BO). BO tends to focus on promising regions with potential high-performance configurations and thus induces a sampling bias. Hence, many IML techniques, such as the partial dependence plot (PDP), carry the risk of generating biased interpretations. By leveraging the posterior uncertainty of the BO surrogate model, we introduce a variant of the PDP with estimated confidence bands. We propose to partition the hyperparameter space to obtain more confident and reliable PDPs in relevant sub-regions. In an experimental study, we provide quantitative evidence for the increased quality of the PDPs within sub-regions.

研究动机与目标

• 为解决自动化超参数优化（HPO）中可解释性不足的问题，特别是关于超参数对模型性能影响的可解释性问题。
• 缓解贝叶斯优化因聚焦于高性能区域而造成的HPO数据采样偏差，当应用可解释机器学习（IML）方法（如PDP）时。
• 提出一种方法，通过整合概率代理模型（如高斯过程）的不确定性估计，提升PDP的可靠性。
• 通过将超参数空间划分为低不确定性子区域，提升局部可解释性，为数据科学家提供更可信且可操作的洞察。
• 提供一个支持信任、透明度和AutoML系统中交互式反馈的框架，通过可解释代理模型分析实现。

提出的方法

• 利用贝叶斯优化（BO）代理模型（如高斯过程）的后验不确定性，估计局部依赖图（PDPs）的置信带。
• 提出一种基于树的划分算法，根据不确定性估计将超参数空间划分为不相交的子区域，优先选择PDP估计方差较低的区域。
• 利用不确定性度量指导子区域选择，确保仅在代理模型预测最可靠区域计算PDP。
• 将该方法应用于合成函数和真实世界深度神经网络的超参数调优，比较全局与区域PDP。
• 在子区域内使用ICE（个体条件期望）曲线检测特征交互作用，提升对边际效应之外的理解。
• 通过灵活的不纯度度量和基于不确定性的分割标准，支持混合与分层超参数空间。

实验结果

研究问题

• RQ1 贝叶斯优化中的采样偏差在多大程度上影响标准局部依赖图（PDPs）的可靠性？
• RQ2 概率代理模型的不确定性估计是否能提升超参数优化中PDP的可靠性？
• RQ3 将超参数空间划分为低不确定性子区域，是否能产生比全局PDP更自信、更准确的PDP？
• RQ4 与标准PDP相比，所提出的不确定性感知PDP在可解释性和与真实超参数效应的一致性方面表现如何？
• RQ5 子区域PDP在多大程度上能支持交互式且可信的AutoML工作流？

主要发现

• 所提出的带有置信带的不确定性感知PDP显著降低了数据稀疏区域的偏差，尤其在超参数空间中未充分探索的区域。
• 基于不确定性的子区域划分使包含最优超参数配置区域的PDP具有显著更低的方差和更高的置信度。
• 在实验研究中，区域PDP相比全局PDP表现出更可靠且更稳定的估计，尤其在高维和非线性搜索空间中。
• 该方法成功识别出超参数效应最确定的区域，使数据科学家能够在HPO过程中聚焦于可信的洞察。
• 子区域内的ICE曲线揭示了在全局PDP中被掩盖的特征交互作用，证明了局部分析的附加价值。
• 该方法适用于多种代理模型，包括高斯过程和随机森林，并支持混合与分层超参数空间。