[論文レビュー] Bayesian Optimization with Unknown Search Space

Huong Ha, Santu Rana+4 more|arXiv (Cornell University)|Oct 29, 2019

Advanced Bandit Algorithms Research被引用数 25

ひとこと要約

本稿では、未知の探索空間に対してパラメータフリーのベイズ最適化手法を提案し、有限回の反復内で$ε$-精度を保証するように動的に探索領域を拡張する。最小限で適応的な拡張を誘導するためのGP-UCB獲得関数を用いることで、ベンチマーク関数および機械学習のハイパーパrameterチューニングにおいて、最先端の手法よりも少ない評価回数で優れた性能を達成する。

ABSTRACT

Applying Bayesian optimization in problems wherein the search space is unknown is challenging. To address this problem, we propose a systematic volume expansion strategy for the Bayesian optimization. We devise a strategy to guarantee that in iterative expansions of the search space, our method can find a point whose function value within epsilon of the objective function maximum. Without the need to specify any parameters, our algorithm automatically triggers a minimal expansion required iteratively. We derive analytic expressions for when to trigger the expansion and by how much to expand. We also provide theoretical analysis to show that our method achieves epsilon-accuracy after a finite number of iterations. We demonstrate our method on both benchmark test functions and machine learning hyper-parameter tuning tasks and demonstrate that our method outperforms baselines.

研究の動機と目的

• 探索空間が未知であり、事前の境界情報が得られない状況におけるベイズ最適化の課題に対処すること。
• 拡張頻度、成長率、正則化定数などのユーザー指定パラメータの必要性を排除すること。
• 有限回の反復後に$ε$-精度（グローバル最適値から$ε$以内の点を発見）を達成することを保証すること。
• 必要最小限の拡張のみを実行する戦略を体系的に開発し、効率性を維持すること。
• 各探索領域で局所的$ε$-精度を保証することで、反復的改善によって最終的にグローバル$ε$-精度を達成すること。

提案手法

• 本手法は、関数値が最大値から$ε$以内に存在する可能性のある領域を推定するための代理関数としてGP-UCB獲得関数を用いる。
• 現在の獲得関数の最大値と$ε$-精度の閾値に基づき、拡張のタイミングと範囲を解析的に導出する。
• 現在の探索空間に、目的関数の最大値から$ε$以内の関数値を持つ点が存在する場合にのみ拡張をトリガーとし、局所的$ε$-精度を保証する。
• 推定された最適領域を最小限に拡張することで、境界付近での無駄な評価を回避する。
• 各拡張後、新しい領域においても$ε$-精度の保証が維持されるように獲得関数を再定義する。
• 本手法は完全に自動化されており、拡張や正則化にあたってユーザーが定義するパrameterを一切必要としない。

実験結果

リサーチクエスチョン

• RQ1 未知の探索空間において、目的関数の事前知識やユーザー指定パラメータなしに、ベイズ最適化が$ε$-精度を達成できるか。
• RQ2 評価回数を最小限に抑えつつ収束を保証するため、探索領域の拡張タイミングと範囲を最適に決定する方法は何か。
• RQ3 各拡張領域で局所的$ε$-精度が保証されるような条件下で、有限回の反復後にグローバル$ε$-精度が達成される仕組みは何か。
• RQ4 体積倍増、正則化、フィルタリングなどの既存手法と比較して、本手法の収束性およびサンプル効率はどのように異なるか。
• RQ5 本手法は、未知で複雑な目的関数を有する現実世界のハイパーパrameterチューニングに適応しながらも、理論的保証を維持できるか。

主な発見

• 提案手法のGPUCB-UBOは、エラスティックネットのハイパーパラメータチューニングにおいて、すべてのベースラインを上回り、少ない評価回数でMNISTデータセットに対してより高い予測精度を達成した。
• マルチレイヤーパーセプトロンモデルでは、GPUCB-UBOはわずか12反復で97.8％の予測精度に到達したが、他の手法は24回を超える反復を要した。
• 畳み込みニューラルネットワークのチューニングでは、GPUCB-UBOは30反復で98.7％の精度に到達し、すべての競合手法を顕著に上回った。
• 5つの合成ベンチマーク関数においても、最先端の手法よりも少ないサンプル数でより優れた関数値を一貫して得る優れた性能を示した。
• 理論的分析により、本手法が有限回の反復内で$ε$-精度を達成することが確認され、拡張や正則化にユーザー定義パラメータを一切必要としない。
• アルゴリズムの自動的かつ最小限の拡張戦略により、探索領域境界付近での無駄な評価が削減され、サンプル効率が向上した。