[論文レビュー] Convergence rates of efficient global optimization algorithms

Adam D. Bull|arXiv (Cornell University)|Jan 18, 2011

Advanced Bandit Algorithms Research参考文献 27被引用数 299

ひとこと要約

本稿は、効率的グローバル最適化における期待改善（expected improvement）アルゴリズムの収束速度を確立し、固定されたガウス過程事前分布のもとで、収束が $ O^*(n^{-(\nu \wedge 1)/d}) $ の速度で発生することを示している。また、修正されたアルゴリズムにより、近似的に最適な速度 $ O^*(n^{-\nu/d}) $ を達成できることを示している。さらに、標準的な逐次的事前分布推定は収束を妨げることがあるが、その問題を解消する改良された推定器を提案している。

ABSTRACT

Efficient global optimization is the problem of minimizing an unknown function f, using as few evaluations f(x) as possible. It can be considered as a continuum-armed bandit problem, with noiseless data and simple regret. Expected improvement is perhaps the most popular method for solving this problem; the algorithm performs well in experiments, but little is known about its theoretical properties. Implementing expected improvement requires a choice of Gaussian process prior, which determines an associated space of functions, its reproducing-kernel Hilbert space (RKHS). When the prior is fixed, expected improvement is known to converge on the minimum of any function in the RKHS. We begin by providing convergence rates for this procedure. The rates are optimal for functions of low smoothness, and we modify the algorithm to attain optimal rates for smoother functions. For practitioners, however, these results are somewhat misleading. Priors are typically not held fixed, but depend on parameters estimated from the data. For standard estimators, we show this procedure may never discover the minimum of f. We then propose alternative estimators, chosen to minimize the constants in the rate of convergence, and show these estimators retain the convergence rates of a fixed prior.

研究の動機と目的

• 固定されたガウス過程事前分布のもとで、効率的グローバル最適化における期待改善アルゴリズムの理論的収束速度を確立すること。
• 逐次的に推定された事前分布が収束に与える影響を調査し、標準的な推定器が真の最小値への収束を妨げることがあることを示すこと。
• 逐次学習に対しても最適な収束速度を維持できる代替推定器を提案すること。
• 未知の関数の滑らかさを前提としたベイズ最適化における理論的保証と実装のギャップを埋めること。
• ノイズのない高価な関数最小化における、探索と活用のトレードオフを厳密に分析すること。

提案手法

• コンpact領域上での未知で高価な関数の最小化を目的としたベイズ最適化戦略としての期待改善（EI）を分析する。
• 固定されたガウス過程事前分布と関連する関数空間を特徴付けるために、再生核ヒルベルト空間（RKHS）理論を用いる。
• メッシュノルムと被覆論法を用いて、事後分散と期待改善の上限を評価することで、EIの収束速度を導出する。
• 滑らかさ $ \nu $ を持つ滑らかな関数に対して、近似的に最適な収束速度 $ O^*(n^{-\nu/d}) $ を達成する修正EIアルゴリズムを導入する。
• 集中不等式（チェルノフの不等式）とメッシュ技術を用いて、設計点のカバレッジが不十分になる確率を制御する。
• 長さスケールや分散などのハイパーパrameterの新しい推定器を提案し、収束速度の定数を最小化することで、逐次学習下でもロバスト性を確保する。

実験結果

リサーチクエスチョン

• RQ1 ガウス過程事前分布を固定した場合、期待改善アルゴリズムの収束速度はどのようになるか？
• RQ2 滑らかさの高い関数に対して、修正された期待改善アルゴリズムは近似的に最適な収束速度を達成できるか？
• RQ3 事前分布のハイパーパrameterを逐次的に推定することは、グローバル最小値への収束を損なうか？
• RQ4 逐次学習下でも最適な収束速度を維持できる代替推定器を構築できるか？
• RQ5 メッシュノルムと被覆数は、期待改善アルゴリズムの収束行動にどのように影響するか？

主な発見

• 滑らかさ $ \nu $ を持つ固定されたガウス過程事前分布のもとで、関連するRKHSに属するすべての $ f $ に対して、期待改善は収束速度 $ O^*(n^{-(\nu \wedge 1)/d}) $ でグローバル最小値に収束する。
• 修正された期待改善アルゴリズムは、滑らかさ $ \nu $ を持つ関数に対して、近的に最適な収束速度 $ O^*(n^{-\nu/d}) $ を達成でき、対数要因を除いて理論的下界と一致する。
• 標準的な事前分布ハイパーパramタの逐次推定は、事後分散の制御が不十分であるため、滑らかな関数に対しても収束しない可能性がある。
• 提案された代替推定器により、ハイパーパラメータがデータから学習されても、収束速度が依然として $ O^*(n^{-(\nu \wedge 1)/d}) $ に保たれ、固定事前分布の場合と同一の性能を達成する。
• 解析により、設計点までの最大距離を測るメッシュノルム $ h_n $ が、高確率で $ O((n/\log n)^{-1/d}) $ の速度で減少することが示された。
• 収束速度は、ノルムが有界なRKHSに属するすべての関数 $ f $ に対して一様であり、特定の $ f $ の実現に依存しない。これにより、ロバスト性が保証される。