[論文レビュー] Bayesian Optimization with Unknown Constraints

Michael A. Gelbart, Jasper Snoek+1 more|arXiv (Cornell University)|Mar 22, 2014

Machine Learning and Algorithms参考文献 18被引用数 289

ひとこと要約

本稿は、制約が未知でノイジーかつ独立して評価可能な、コストの高いブラックボックス最適化問題を対象としたベイジアン最適化フレームワークを提案する。制約の満たされる確率を組み込んだ確率的獲得関数を導入し、探索、活用、制約の満たし方のバランスを図り、収束性と効率性の厳しい制約下でも機械学習アルゴリズムやHMCパラメータのチューニングにおいて優れた性能を示した。

ABSTRACT

Recent work on Bayesian optimization has shown its effectiveness in global optimization of difficult black-box objective functions. Many real-world optimization problems of interest also have constraints which are unknown a priori. In this paper, we study Bayesian optimization for constrained problems in the general case that noise may be present in the constraint functions, and the objective and constraints may be evaluated independently. We provide motivating practical examples, and present a general framework to solve such problems. We demonstrate the effectiveness of our approach on optimizing the performance of online latent Dirichlet allocation subject to topic sparsity constraints, tuning a neural network given test-time memory constraints, and optimizing Hamiltonian Monte Carlo to achieve maximal effectiveness in a fixed time, subject to passing standard convergence diagnostics.

研究の動機と目的

• 目的関数と制約がともにコストが高く、未知のノイズを含むブラックボックス関数である制約付き最適化問題に対処すること。
• 制約の違反確率を指定可能なユーザー定義の信頼水準（δ）を用いた、確率的制約を扱える一般化されたフレームワークの開発。
• 目的関数と制約関数の独立した評価を可能とすること。これは製品設計や機械学習のハイパーパrameterチューニングなど、現実世界の応用で一般的である。
• ベイジアン最適化を非制約設定にとどめず、実用的で現実世界の複雑な実行可能性およびパフォーランス制約下での最適化を支援すること。
• HMC、ニューラルネットワーク、スパarsityおよびメモリ制約を伴うオンラインLDAのチューニングといった、現実世界の問題への有効性を実証すること。

提案手法

• 制約を確率的プロセスとしてモデル化し、ユーザーが定義した信頼水準（δ）を用いて、確率的制約としての制約付きベイジアン最適化を定式化する。
• 制約の満たされる確率を最適化目的に組み込むことで、期待改善（Expected Improvement）を拡張した、新しい獲得関数を提案する。
• ガウス過程を用いて目的関数および制約関数をモデル化し、不確実性を考慮した有望な評価点の選択を可能にする。
• 目的関数と制約関数の独立評価を統合し、現実的で柔軟なリアルタイム最適化パイプラインのモデル化を可能にする。
• 解析的近似を用いて計算が tractable になるように、期待改善を最大化するとともに高い確率での実行可能性を保証する共同最適化戦略を採用する。
• 反復的にフレームワークを適用する：各評価後に事後分布を更新し、獲得関数を再計算し、目的関数と制約の統合的利得に基づいて次回の評価点を選択する。

実験結果

リサーチクエスチョン

• RQ1 ベイジアン最適化は、ブラックボックス最適化問題において、未知でノイジーな制約をどのように拡張して扱えるか？
• RQ2 探索的最適化と目的関数の改善、制約の満たし方のバランスを取るために、効果的な探索領域の探索を可能にする獲得関数の定式化は何か？
• RQ3 提案手法は、パフォーマンスとリソース制約が厳しい状況下でも、HMC やニューラルネットワークといった複雑なシステムを効率的に最適化できるか？
• RQ4 このフレームワークは、目的関数と制約関数の独立評価をどのように処理し、共同評価と比較してどのような利点を提供するか？
• RQ5 現実世界の応用において、高品質で実行可能な解に到達するために必要な高価な評価回数を、この手法はどの程度削減できるか？

主な発見

• 提案手法は、1秒間に12.5効率的サンプルを達成し、100%の制約満たし率を達成するHMCパラメータを効果的に最適化した。これはベースライン設定を上回る性能であった。
• HMCチューニングにおいて、本手法はわずかτ=2ステップのループステップと3.8%のバーンイン時間のみを選択し、計算時間を顕著に短縮したが、高い効率的サンプルサイズを維持した。
• 本手法は70%の受容率を達成したが、これはベースラインの85%よりも低いが、ステップ数が少ないことと組み合わせることで、低い受容率でも許容可能であることを示した。
• フレームワークは、HMCにおける数値積分がε > 0.1で発散することを特定した。これは制約表面図の可視化を通じて確認され、不実行領域を特定する能力を裏付けた。
• オンラインLDAでは、トピックのスパarsity制約を効果的に最適化し、自然言語処理およびモデル正則化への応用可能性を示した。
• 本手法は、メモリ制限付きニューラルネットワークチューニングやリアルタイムシステム最適化といった多様な問題に対して、一貫した制約満たしと性能向上を示し、高いロバスト性を示した。