[論文レビュー] Excursion Search for Constrained Bayesian Optimization under a Limited Budget of Failures

Alonso Marco, Alexander von Rohr+3 more|arXiv (Cornell University)|May 15, 2020

Advanced Bandit Algorithms Research参考文献 27被引用数 6

ひとこと要約

本稿では、失敗予算を事前に定めたもとでリスクを動的に調整することにより、探索と安全性のバランスをとる新しいベイズ最適化アルゴリズムであるXsFを提案する。ガウス過程におけるエクスカージョン集合理論を活用し、制約付き探索空間を効率的に探索することで、合成および実世界のベンチマークにおいて、最先端の手法よりも低いレグレットとより効果的な失敗予算の使用を達成した。

ABSTRACT

When learning to ride a bike, a child falls down a number of times before achieving the first success. As falling down usually has only mild consequences, it can be seen as a tolerable failure in exchange for a faster learning process, as it provides rich information about an undesired behavior. In the context of Bayesian optimization under unknown constraints (BOC), typical strategies for safe learning explore conservatively and avoid failures by all means. On the other side of the spectrum, non conservative BOC algorithms that allow failing may fail an unbounded number of times before reaching the optimum. In this work, we propose a novel decision maker grounded in control theory that controls the amount of risk we allow in the search as a function of a given budget of failures. Empirical validation shows that our algorithm uses the failures budget more efficiently in a variety of optimization experiments, and generally achieves lower regret, than state-of-the-art methods. In addition, we propose an original algorithm for unconstrained Bayesian optimization inspired by the notion of excursion sets in stochastic processes, upon which the failures-aware algorithm is built.

研究の動機と目的

• 失敗が望ましくないが許容可能な状況における安全かつ効率的な最適化の課題に対処すること。
• 最適化の過程で残りの失敗回数と評価回数を明示的に考慮する意思決定フレームワークの構築。
• 失敗ゼロ（保守的）および無制限失敗（非保守的）な手法を改善し、リスクに配慮した探索を可能にする。
• 確率過程の幾何学的性質に基づいた、効率的なグローバル最適化を実現する獲得関数の設計。

提案手法

• ガウス過程におけるエクスカージョン集合に基づく、新たな獲得関数を導入し、しきい値を越える上昇クロスを検出することで、グローバル最適解が存在する可能性の高い領域を特定する。
• 意思決定の精度と効率を向上させるために、プロセスの微分を獲得関数に組み込む。
• 各反復で残りの失敗予算に基づいてしきい値を調整することで、探索リスクを動的に制御するフィードバック制御器を導入する。
• 獲得関数に安全制約と失敗予算制約を統合することで、制約付き最適化にアルゴリズムを拡張する。
• 合成ベンチマークと実世界の応用（ニューラルネットワークの圧縮とロボットコントローラーのチューニング）を用いて、手法の有効性を検証する。
• ガウス過程を用いた確率的フレームワークで実装し、解析的取り扱いの容易さを確保するためにライスの公式を活用する。

実験結果

リサーチクエスチョン

• RQ1 最適化中に許容可能な限られた数の失敗が許可される状況で、ベイズ最適化をどのようにしてより効率的にすることができるか。
• RQ2 確率過程におけるエクスカージョン集合理論を用いて、グローバル最適化のための整合的な獲得関数を設計できるか。
• RQ3 動的なリスク制御メカニズムをベイズ最適化に統合し、失敗予算を適応的に管理できるか。
• RQ4 失敗に配慮した獲得関数は、保守的および非保守的BO手法に比べ、レグレットと失敗効率の面で優れているか。
• RQ5 提案手法は、制約付きおよび実世界の応用を含む多様な最適化問題に一般化可能か。

主な発見

• 10次元のMichalewicz関数および6次元のHartman関数において、XsFは比較対象の全手法の中で最小のレグレットを達成し、統計的に有意な改善を示した。
• ニューラルネットワークの圧縮タスクにおいて、XsFは理論的サイズ12.4 kBで検証誤差0.76%を達成し、EICおよびPESCの両方をレグレットと標準偏差の面で上回った。
• $Ω$指標による確認により、XsFは他の手法よりも安全な評価をより頻繁に訪問しており、安全領域の効果的な活用を示している。
• カート・ポール制御問題において、XsFはEICおよびPESCよりも優れたコントローラーを発見し、実世界のロボティクス応用における優れた性能を示した。
• 失敗予算を効果的に活用しており、失敗を許容する戦略が失敗ゼロ戦略よりも収束が速く、より優れた解に到達できることを示した。
• 固定されたハイパーパrameterを用いた実験により、XsおよびXsFが一貫して最先端の手法を上回ることを確認し、本手法のロバスト性を裏付けた。