[論文レビュー] Unbounded Bayesian Optimization via Regularization

Bobak Shahriari, Alexandre Bouchard‐Côté+1 more|arXiv (Cornell University)|Aug 14, 2015

Advanced Bandit Algorithms Research参考文献 18被引用数 16

ひとこと要約

本稿では、初期のボクシングボックスを超えて探索空間を自動的に拡張できるようにするため、正則化に基づく手法とボリューム倍増ヒューリスティクスを提案する。主な貢献は、非ステーショナリィな事前平均を導入することで、取得関数の最大化を正則化し、制約なしの最適化を可能にしつつ性能を維持することである。実験結果では、ニューラルネットワークのハイパーパrameterチューニングにおいて、より優れた探索性能と高いテスト精度が得られた。

ABSTRACT

Bayesian optimization has recently emerged as a popular and efficient tool for global optimization and hyperparameter tuning. Currently, the established Bayesian optimization practice requires a user-defined bounding box which is assumed to contain the optimizer. However, when little is known about the probed objective function, it can be difficult to prescribe such bounds. In this work we modify the standard Bayesian optimization framework in a principled way to allow automatic resizing of the search space. We introduce two alternative methods and compare them on two common synthetic benchmarking test functions as well as the tasks of tuning the stochastic gradient descent optimizer of a multi-layered perceptron and a convolutional neural network on MNIST.

研究の動機と目的

• 標準的なベイズ最適化が探索空間の事前定義されたボクシングボックスを必要とすることという制限を解消すること。
• 真の最適解が初期境界の外にある場合に、最適化中に探索空間を自動的に拡張できることを実現すること。
• 既存のGPベースのベイズ最適化フレームワークと互換性があり、即座に利用可能な実用的でプラグアンドプレイな手法を開発すること。
• 合成および実世界のハイパーパrameterチューニングタスクにおいて、正則化ベースとヒューリスティクスベースのアプローチの性能を比較すること。
• 制約なし最適化が、特に初期ボックスがグローバル最適解を含まない場合に、有界な手法を上回ることを示すこと。

提案手法

• 取得関数の最大値が無限に発散するのを防ぐために、GP事前分布に非ステーショナリィな事前平均を正則化として導入し、制約なし最適化を可能にする。
• 境界付近の点をペナルティ化するヘッジ-2次正則化関数を用い、初期探索ボックスの境界に近い領域を均等に探索を促進する。
• 定期的な間隔で探索空間の体積を倍増させるヒューリスティクスを提案する。
• 正則化されたGP事前分布と標準的な期待改善（EI）取得関数を組み合わせ、変更なしに標準的な最適化ツールをそのまま使用可能にする。
• 取得関数の上界が有界であることを保証しながら、目的関数をモデル化する非ステーショナリィな平均を有するガウス過程事前分布を採用する。
• 既存のベイズ最適化ツールキットと互換性を持たせる形で手法を実装し、事前分布の平均の変更のみで実現可能である。

実験結果

リサーチクエスチョン

• RQ1 初期のボクシングボックスの選択が不適切な場合に、自動的な探索空間拡張によりベイズ最適化のロバスト性を高められるか？
• RQ2 GP事前分布の平均に対する正則化は、制約なし最適化における探索行動と収束性にどのように影響するか？
• RQ3 高次元およびノイズが多い設定において、単純なボリューム倍増ヒューリスティクスの性能は、正則化された取得関数最大化と比べてどうか？
• RQ4 真の最適解が初期探索領域の外にある場合に、提案手法がハイパーパラメータチューニングの性能を向上させるか？
• RQ5 収束速度と最終的な解の品質の観点から、提案手法は標準的なベイズ最適化と比べてどのように差がつくか？

主な発見

• ヘッジ-2次正則化取得関数（EI-H）は、MLP-MNISTタスクで標準的な期待改善法よりも20%のテスト精度向上を達成した。
• CNN-MNISTタスクでは、EI-Hが標準的な期待改善法よりも約10%のテスト精度向上を示し、初期設定外の最適化において優れた性能を発揮した。
• ボリューム倍増ヒューリスティクスは実用的に良好な性能を示し、低次元から中程度の次元において強力なベースラインとなった。
• 可視化結果から、EI-HおよびEI-Qは標準的なEIやボリューム倍増バージョンとは異なり、初期ボックスのコーナーや境界に点を選択しなかった。
• 提案手法は初期ボクシングボックスの外側の領域を効果的に探索でき、グローバル最適解が初期ボックスに含まれない場合でも最適解を特定できることを確認した。
• 正則化手法により、境界ボックスの必要性を排除することで制約なし最適化が可能になった一方、標準的なGPベースの最適化パイプラインとの互換性を維持した。