[論文レビュー] Explaining Hyperparameter Optimization via Partial Dependence Plots

Julia Moosbauer, Julia Herbinger+3 more|arXiv (Cornell University)|Nov 8, 2021

Advanced Multi-Objective Optimization Algorithms被引用数 10

ひとこと要約

本稿では、ベイジアン最適化に基づくハイパーパramータチューニングにおける不確実性を考慮した部分的依存プロット（PDP）を提案する。 surrogateモデルからの事後分布の不確実性を用いて部分領域の分割を誘導し、信頼性を向上させる。 本稿は、最適な設定周辺で特に顕著に、部分領域PDPがグローバルPDPよりもはるかに信頼性が高く正確な解釈をもたらすことを示している。

ABSTRACT

Automated hyperparameter optimization (HPO) can support practitioners to obtain peak performance in machine learning models. However, there is often a lack of valuable insights into the effects of different hyperparameters on the final model performance. This lack of explainability makes it difficult to trust and understand the automated HPO process and its results. We suggest using interpretable machine learning (IML) to gain insights from the experimental data obtained during HPO with Bayesian optimization (BO). BO tends to focus on promising regions with potential high-performance configurations and thus induces a sampling bias. Hence, many IML techniques, such as the partial dependence plot (PDP), carry the risk of generating biased interpretations. By leveraging the posterior uncertainty of the BO surrogate model, we introduce a variant of the PDP with estimated confidence bands. We propose to partition the hyperparameter space to obtain more confident and reliable PDPs in relevant sub-regions. In an experimental study, we provide quantitative evidence for the increased quality of the PDPs within sub-regions.

研究の動機と目的

• 自動化されたハイパーパramータ最適化（HPO）における解釈可能性の欠如、特にハイパーパramータがモデル性能に与える影響についての解釈を改善すること。
• ベイジアン最適化が高パフォーマンス領域に集中するため生じるHPOデータにおけるサンプリングバイアスが、PDPなどの解釈可能な機械学習（IML）手法の適用に与える影響を軽減すること。
• 確率的surrogateモデル（例：ガウス過程）からの不確実性推定値を組み込むことで、PDPの信頼性を向上させる手法の開発。
• ハイパーパramータ空間を不確実性が低い部分領域に分割することで、局所的な解釈性を向上させ、データサイエンティストがより信頼できる・行動可能なインサイトを得られるようにすること。
• 解釈可能なsurrogateモデルの分析を通じて、信頼性、透明性、インタラクティブフィードバックをAutoMLシステムに統合するフレームワークの提供。

提案手法

• ベイジアン最適化（BO）surrogateモデル（例：ガウス過程）の事後分布の不確実性を活用し、部分的依存プロット（PDP）の信頼区間を推定する。
• 不確実性推定値に基づいてハイパーパラメータ空間を不交差な部分領域に分割する木構造のパーティショニングアルゴリズムを提案し、PDP推定値の分散が小さい領域を優先する。
• 不確実性の尺度を用いて部分領域の選択を誘導し、surrogateモデルの予測が最も信頼性が高い領域でのみPDPを計算する。
• 合成関数および実世界の深層ニューラルネットワークのハイパーパラメータチューニングに本手法を適用し、グローバルPDPと比較する。
• 特徴量の相互作用を検出するために、部分領域内でICE（個別的条件期待値）曲線を用いることで、マージナル効果を超えた解釈性を向上させる。
• 柔軟な不純度測度と不確実性に基づく分割基準を用いることで、混合および階層的ハイパーパラメータ空間に対応する。

実験結果

リサーチクエスチョン

• RQ1 ベイジアン最適化におけるサンプリングバイアスが、標準的な部分的依存プロット（PDP）の信頼性に与える影響は何か？
• RQ2 確率的surrogateモデルからの不確実性推定値は、ハイパーパラメータ最適化におけるPDPの信頼性を向上させ得るか？
• RQ3 ハイパーパラメータ空間を不確実性が低い部分領域に分割することで、グローバルPDPと比較して、より信頼性が高く正確なPDPが得られるか？
• RQ4 提案手法の不確実性を考慮したPDPは、標準的なPDPと比較して、解釈可能性および真のハイパーパラメータ効果との整合性において優れているか？
• RQ5 部分領域PDPは、インタラクティブで信頼できるAutoMLワークフローをどの程度サポートできるか？

主な発見

• 提案手法の不確実性を考慮したPDPと信頼区間は、特にハイパーパラメータ空間の未探索領域で、データが疎な領域におけるバイアスを顕著に低減する。
• 不確実性に基づく部分領域パーティショニングにより、最適ハイパーパラメータ設定を含む領域におけるPDPの分散が著しく低くなり、信頼性が向上する。
• 実験的評価において、高次元かつ非線形な探索空間においても、部分領域PDPはグローバルPDPと比較してより信頼性が高く安定した推定値を達成した。
• 本手法は、ハイパーパラメータ効果が最も確実に推定できる領域を効果的に同定でき、HPOの過程で信頼できるインサイトに集中できるようにする。
• 部分領域内でのICE曲線は、グローバルPDPでは見えにくかった特徴量の相互作用を明らかにした。これは、局所的分析の追加的価値を示している。
• 本手法はガウス過程やランダムフォレストを含む多様なsurrogateモデルに適用可能であり、混合および階層的ハイパーパラメータ空間に対しても対応可能である。