[論文レビュー] Practical Bayesian Optimization for Variable Cost Objectives

Mark McLeod, Michael A. Osborne+1 more|arXiv (Cornell University)|Mar 13, 2017

Advanced Multi-Objective Optimization Algorithms参考文献 14被引用数 16

ひとこと要約

この論文では、評価コストが変動する目的関数を対象として、入力変数およびコスト制御変数の両方の予測エントロピー探索獲得関数を用いた実用的なベイズ最適化手法EnvPESを提案する。本手法は、近似精度を向上させつつ計算オーバーヘッドを低減する、新たな効率的なサンプリング戦略を導入しており、FABOLASなどの先行手法よりも高速な収束を実現している。実験では、ハイパーパramータチューニングやガウス過程カーネル適合を含む合成的および実世界のベンチマークで評価されている。

ABSTRACT

We propose a novel Bayesian Optimization approach for black-box functions with an environmental variable whose value determines the tradeoff between evaluation cost and the fidelity of the evaluations. Further, we use a novel approach to sampling support points, allowing faster construction of the acquisition function. This allows us to achieve optimization with lower overheads than previous approaches and is implemented for a more general class of problem. We show this approach to be effective on synthetic and real world benchmark problems.

研究の動機と目的

• 評価コストを忠実度に交換可能な、高価なブラックボックス目的関数を最適化する課題に対処すること。
• 総コストを最小化するために、入力点と評価忠実度の両方を動的に選択する実用的なベイズ最適化フレームワークを構築すること。
• 従来、スケーラビリティを制限していたエントロピーに基づく獲得関数における計算オーバーヘッドを低減すること。
• ハイパーパramータチューニングやカーネルパラメータ適合など、高い評価コストを伴う問題に対する効果的な最適化を可能にすること。
• 既存の変動コストを伴うベイズ最適化手法よりも、より一般的かつ効率的な代替手法を提供すること。

提案手法

• 評価コストを制御する連続的環境変数を含む予測エントロピー探索（PES）に基づく新しい獲得関数を提案する。
• 従来のスライスサンプリングよりも、グローバル最小化点 $x_*$ の真の事後分布への近似精度が向上する、サポートポイントのための新しいサンプリング戦略を導入する。
• 多様な最適化問題にわたる柔軟性とロバストネスを高めるために、Matérn 5/2カーネルを採用する。
• GPモデルにおける不確実性を扱うために、スライスサンプリングによるハイパーパramータの周辺化を実装する。
• サンプリングされたサポートポイント上でモンテカルロ近似を用いて相互情報量を推定し、獲得関数を構築する。
• 対象となるサブセットの評価を一貫して最適化可能にするために、対数尤度に連続的かつ単調な変換を施す。

実験結果

リサーチクエスチョン

• RQ1 連続的環境変数を用いて、評価コストと忠実度のバランスを取るベイズ最適化フレームワークは、効果的に機能するか？
• RQ2 提案されたサンプリング戦略は、エントロピーに基づく獲得関数の精度と効率をどのように向上させるか？
• RQ3 既存の変動コストを伴うベイズ最適化アプローチと比較して、本手法はより速い収束を達成し、総コストを低く抑えるか？
• RQ4 本手法は、高い評価コストを伴う実世界の機械学習問題に効果的に適用可能か？
• RQ5 計算オーバーヘッドは、変動コスト設定下でのエントロピーに基づく獲得関数の実用的性能にどのように影響するか？

主な発見

• 合成ベンチマーク（Branin、Hartman 3D、Hartman 6D関数など）において、EnvPESはFABOLASおよびPESと同等またはそれ以上の性能を達成している。
• MNIST SVMハイパーパramータチューニングタスクにおいて、FABOLASと同程度の評価コスト性能を示すにもかかわらず、EnvPESは低誤差率に早く到達している。
• 英国の電力需要データにおけるガウス過程カーネル適合において、EnvPESは全データの2％にまで縮小したサブセットを用いても最適化に成功し、FABOLASよりも速いリアルタイム収束を達成している。
• 提案されたサンプリング手法によりオーバーヘッドが顕著に低減され、FABOLASと同程度の評価コスト性能を示すにもかかわらず、EnvPESは総時間において優れている。
• 合成関数、ハイパーパramータチューニング、実世界の時系列モデリングを含む多様な問題タイプにおいて、EnvPESはロバストで効率的な性能を示している。
• 獲得関数評価の計算コストが低減されたため、従来では実行不可能とされていた変動コストを伴う目的関数の実用的最適化が可能になった。