[論文レビュー] The Behavior and Convergence of Local Bayesian Optimization

Kaiwen Wu, Kyurae Kim+2 more|arXiv (Cornell University)|May 24, 2023

Advanced Bandit Algorithms Research被引用数 4

ひとこと要約

本稿は、GIBOアルゴリズムに注目して、局所的ベイズ最適化の最初の厳密な理論的分析を提供する。勾配の不確実性を制限することで、ノイズなしおよびノイズありの設定において収束速度を確立し、高次元でも多項式的サンプル複雑性を満たす高速収束を示している。

ABSTRACT

A recent development in Bayesian optimization is the use of local optimization strategies, which can deliver strong empirical performance on high-dimensional problems compared to traditional global strategies. The "folk wisdom" in the literature is that the focus on local optimization sidesteps the curse of dimensionality; however, little is known concretely about the expected behavior or convergence of Bayesian local optimization routines. We first study the behavior of the local approach, and find that the statistics of individual local solutions of Gaussian process sample paths are surprisingly good compared to what we would expect to recover from global methods. We then present the first rigorous analysis of such a Bayesian local optimization algorithm recently proposed by Müller et al. (2021), and derive convergence rates in both the noisy and noiseless settings.

研究の動機と目的

• 局所的ベイズ最適化の動作と収束を形式的に分析すること。これは、強い経験的性能を示すが理論的裏付けに欠ける。
• 高次元問題においても次元の呪いを克服して優れた性能を示す理由を理解するギャップを埋めること。
• グローバルなベイズ最適化で用いられる標準的なGP仮定の下で、局所的BOアルゴリズム（GIBO）に対する理論的保証を提供すること。
• ノイズとバッチサイズが局所最適化の収束速度に与える影響を定量化すること。
• 一般的なGPサンプル経路における局所的BOが得る個々の局所解の品質を評価すること。

提案手法

• 局所的領域に焦点を当てるために、アクティブな勾配学習を用いたGIBOアルゴリズム（ガウス過程に基づく反復的ベイズ最適化）を用いる。
• GP回帰における事後分散の新しい分析を通じて、勾配推定の不確実性の上界を導出する。
• 勾配の不確実性の上限と勾配推定のバイアスを関連づけ、ノイズなしおよびノイズありの両設定における収束速度を導出する。
• 収束誤差を最小化するために多項式的および対数的成長率を最適化することで、バッチサイズ選択を分析する。
• 変更を加えたGIBOの変種を、さまざまな次元およびノイズレベルにおけるGPサンプル経路で経験的に評価する。
• 理論的上限を用いて、収束保証のきつさを評価する。実際の不確実性低減と上界を比較することで行う。

Figure 1 : The unreasonable effectiveness of locally optimizing GP sample paths. (Top row): Distributions of local solutions found when locally optimizing GP sample paths in various numbers of dimensions, with varying amounts of noise. (Bottom left): The minimum sample complexity of grid search requ

実験結果

リサーチクエスチョン

• RQ1 典型的な高次元GPサンプル経路において、局所的ベイズ最適化が得る局所解はどれほど優れているか？
• RQ2 標準的なGP仮定の下で、局所的ベイズ最適化アルゴリズムに対して理論的収束保証を提供できるか？
• RQ3 ノイズは局所BOの収束速度にどのように影響するか？
• RQ4 バッチサイズの選択は、局所BOの収束速度にどのように影響するか？
• RQ5 局所最適化の過程で勾配推定の不確実性はどのように変化するのか？また、理論的上限はどれほどタイトか？

主な発見

• 局所的ベイズ最適化は、高次元GPサンプル経路において顕著に優れた解を発見しており、中央値の目的関数値は、指数的にな larger サンプルサイズを要するグリッドサーチと同等である。
• 最適なバッチサイズ $b_t = d t^2$ のもとで、ノイズなしの場合の収束速度は $\mathcal{O}(n^{-1/3})$ であり、この設定で知られている最速のレートである。
• ノイズありの設定では、収束速度は $\mathcal{O}(\sigma d^{4/3} n^{-1/3} \log^2 n)$ であり、ノイズがサンプル複雑性を増加させるが、依然として高速収束を可能にする。
• 実際の勾配不確実性の上限は、理論的に導かれたものよりもきついことが示された。実際の不確実性低減は、上界を著しく上回っている。
• バッチサイズ $b_t = d+1$ の場合、$\min_t \|\nabla f(x_t)\|^2 \leq \frac{2L(f(x_1) - f^*)}{T}$ を満たし、理想的な条件下で高速収束を達成する。
• ReLU関数は部分微分の推定によりうまく扱われ、事後平均勾配は常に部分微分 $[0,1]$ の内側に位置している。

(a) fixed dimension, varying batch sizes