[論文レビュー] Adaptive Expansion Bayesian Optimization for Unbounded Global Optimization

Wei Chen, Mark Fuge|arXiv (Cornell University)|Jan 12, 2020

Advanced Multi-Objective Optimization Algorithms参考文献 18被引用数 6

ひとこと要約

本稿では、最適化中に探索空間を動的に拡張することで、事前に定義された境界を必要とせずに非有界なグローバル最適化を可能にする、適応的拡張ベイズ最適化（AEBO）を提案する。低不確実性領域に注目し、探索と活用のトレードオフを適応的に調整することで、合成関数およびMNISTにおけるMLPのハイパーパrameterチューニングにおいて、最先端の手法を上回る性能を発揮する。

ABSTRACT

Bayesian optimization is normally performed within fixed variable bounds. In cases like hyperparameter tuning for machine learning algorithms, setting the variable bounds is not trivial. It is hard to guarantee that any fixed bounds will include the true global optimum. We propose a Bayesian optimization approach that only needs to specify an initial search space that does not necessarily include the global optimum, and expands the search space when necessary. However, over-exploration may occur during the search space expansion. Our method can adaptively balance exploration and exploitation in an expanding space. Results on a range of synthetic test functions and an MLP hyperparameter optimization task show that the proposed method out-performs or at least as good as the current state-of-the-art methods.

研究の動機と目的

• 固定された変数の境界を設定する課題に対処すること。これは、グローバル最適解を除外する可能性がある。
• 探索空間の拡大中に過剰な探索を回避するため、不確実性のしきい値を適応的に制御すること。
• 真の最適解が初期境界の外にある場合でも、効果的なグローバル最適化を可能にすること。
• ローゼンブロック関数やMLPのハイパーパrameterチューニングのような、活用中心の問題における性能を向上させること。
• 非有界なドメインにおいて探索と活用のバランスを取る、強固で適応的なフレームワークを提供すること。

提案手法

• ガウスプロセス（GP）モデルの不確実性が動的しきい値未満である領域を、低不確実性領域として定義し、評価をこの領域に制限する。
• リグレット最小化から導出された理論的基準を用いて、不確実性しきい値を適応的に更新することで、過剰な探索を防ぐ。
• 新しい観測が追加されるたびに不確実性しきい値を増加させることで、探索空間を拡張し、新しい領域を探索可能にする。
• 次の評価点を選択するために、期待改善（EI）を獲得関数として使用する。評価は現在の低不確実性領域内で実施される。
• グローバル最適解を含まなくてもよい、ユーザーが事前に指定する小さな初期境界で探索を開始する。
• ハイパーパラメータチューニングにおいて、広い動的範囲を持つパラメータを取り扱うために、対数空間に変換して手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 真の最適解が固定された初期境界の外にある場合、ベイズ最適化がグローバル最適解を効果的に見つけられるか。
• RQ2 非有界最適化における探索空間の拡大中に、過剰な探索をどのように回避できるか。
• RQ3 拡大するドメインにおいて、探索と活用のバランスを取るための不確実性しきい値の適応戦略は何か。
• RQ4 AEBOは、FBOやEI-Hといった最先端の手法と比較して、合成的および実世界の最適化タスクにおいてどのように性能を発揮するか。
• RQ5 ノイズのある観測や、局所最適解と狭い谷の両方を含む多様な問題特性の下でも、AEBOはロバスト性を保つのか。

主な発見

• AEBOは、固定された境界を用いた標準的なベイズ最適化を上回り、特にグローバル最適解を含まないほど小さい境界を設定した場合に顕著に優れた性能を示す。
• ローゼンブロック関数において、適応的しきい値を用いたAEBOは、固定しきい値設定よりも最適性ギャップが小さく、特に狭い谷において過剰な探索を回避する。
• ラストリーギン関数において、適応的しきい値を用いたAEBOは、局所最適解が多い領域での高い探索効率により、固定しきい値手法を上回る性能を発揮する。
• MLPのハイパーパラメータチューニングタスクにおいて、AEBOはFBO-EIやEI-Hと同等または優れた性能を達成し、大きな固定境界を用いたBOよりも優れている。
• ガウスノイズ（σ = 0.1）の下でもAEBOはロバスト性を保ち、ノイズのある評価において一貫した性能を示す。
• リグレット最小化から導出された適応的しきい値戦略は、過剰な探索を効果的に防止するとともに、有効な探索空間の拡張を可能にする。