[論文レビュー] Improving Accuracy of Interpretability Measures in Hyperparameter Optimization via Bayesian Algorithm Execution

Julia Moosbauer, Giuseppe Casalicchio+2 more|arXiv (Cornell University)|Jun 11, 2022

Machine Learning and Data Classification被引用数 4

ひとこと要約

本稿では、部分的従属プロット（PDPs）による解釈可能性の正確さとハイパーパramータチューニングのパフォーマンスを同時に最適化するベイジアン最適化フレームワーク、BOBAXを提案する。ベイジアンアルゴリズム実行（BAX）を統合し、解釈可能な機械学習（IML）推定の期待情報ゲイン（EIG）を最大化することで、最適化効率を損なわずにはるかに信頼性の高いPDPを達成し、ハイパーパramータ最適化における信頼できるリアルタイムの解釈可能性を可能にする。

ABSTRACT

Despite all the benefits of automated hyperparameter optimization (HPO), most modern HPO algorithms are black-boxes themselves. This makes it difficult to understand the decision process which leads to the selected configuration, reduces trust in HPO, and thus hinders its broad adoption. Here, we study the combination of HPO with interpretable machine learning (IML) methods such as partial dependence plots. These techniques are more and more used to explain the marginal effect of hyperparameters on the black-box cost function or to quantify the importance of hyperparameters. However, if such methods are naively applied to the experimental data of the HPO process in a post-hoc manner, the underlying sampling bias of the optimizer can distort interpretations. We propose a modified HPO method which efficiently balances the search for the global optimum w.r.t. predictive performance \emph{and} the reliable estimation of IML explanations of an underlying black-box function by coupling Bayesian optimization and Bayesian Algorithm Execution. On benchmark cases of both synthetic objectives and HPO of a neural network, we demonstrate that our method returns more reliable explanations of the underlying black-box without a loss of optimization performance.

研究の動機と目的

• 後から適用する解釈可能手法（例：部分的従属プロット（PDPs））に歪みをもたらすハイパーパramータ最適化（HPO）におけるサンプリングバイアスを是正すること。
• 後からバイアスのあるデータを分析するのではなく、HPOプロセス中にマージナルハイパーパramータ効果の信頼性の高い正確な推定を可能にすること。
• 自動機械学習における最適化パフォーマンスと解釈可能性の質の両立を実現する汎用的で効率的な手法を開発すること。
• IML推定の希望する精度の閾値を設定することで、実行結果の解釈可能性を早期に得られるようにすること。
• 正確でリアルタイムの説明により意思決定プロセスを透明化することで、AutoMLシステムへの信頼を高めること。

提案手法

• ベイジアン最適化（BO）とベイジアンアルゴリズム実行（BAX）を統合し、予測性能と解釈可能性の両方を同時に最適化する。
• PDP推定の正確さを向上させるために、期待情報ゲイン（EIG）を surrogate 目的関数として用い、IML推定の精度向上に寄与するサンプリングを誘導する。
• 複数のハイパーパramータ（例：学習率、ドロップアウト、重み減衰）のPDPに対して、同時にEIGを計算することでグローバルな解釈可能性を向上させる。
• ユーザーが定義した信頼区間の閾値（例：±1.5%の精度）に達するまで解釈可能性を優先する適応的バージョン（a-BOBAX）を採用し、その後は純粋な最適化に移行する。
• BOのスラグレートモデルを活用して、IML統計量を定量的に推定し、解釈が信頼性があり不確実性を考慮したモデルに基づくことを保証する。
• 任意のBOバージョンと統合可能であり、PDP以外の他のIML手法（例：順列重要度やSHAP）への拡張も可能である。

実験結果

リサーチクエスチョン

• RQ1 最適化パフォーマンスを損なわせることなく、ハイパーパramータ最適化における部分的従属プロットのような解釈可能指標の正確さを向上させることは可能か？
• RQ2 解釈可能性の目的関数をベイジアン最適化のループに直接統合することで、IML推定におけるサンプリングバイアスを低減できるか？
• RQ3 適応的信頼区間の閾値を用いることで、最適化プロセスの初期段階で信頼性の高いIML推定を達成できるか？
• RQ4 提案手法は、標準的なBOおよびBAXと比較して、競争力のある最適化パフォーマンスを維持するか？
• RQ5 神経ネットワークのハイパーパラメータチューニングのような実世界のHPO問題に、この手法はどの程度スケーラブルか？

主な発見

• a-BOBAXは、標準的なBOおよびBAXと比較して、望ましいPDP精度閾値（±1.5%の精度ポイント）に到達するまでの収束が著しく速く、早期の信頼性のある解釈が可能となった。
• a-BOBAXの最終的なPDP推定は、ランダムサーチ（RS）と同等の正確さを示し、解釈の質の高さを裏付けた。
• a-BOBAXの最適化パフォーマンスは、期待改善（EI）を用いた標準BOと同等であり、高い予測性能を維持した。
• 性能と解釈可能性の両方のための探索を前もってバランスさせることで、ハイパーパラメータ空間の未サンプリング領域に起因する誤解を招く解釈を低減した。
• 15の多様なデータセットを用いた実験では、さまざまなHPOシナリオにおいてPDPの正確さが一貫して向上し、データセット固有の特性に対しても強いロバストネスを示した。
• BOBAXの計算コストは、ニューラルネットワーク構成の訓練・検証に要するコストに比べて無視できるほど低く、実世界での利用に実用的であることが判明した。