[論文レビュー] Discretization-free Knowledge Gradient Methods for Bayesian Optimization

Jian Wu, Peter I. Frazier|arXiv (Cornell University)|Jul 20, 2017

Advanced Bandit Algorithms Research参考文献 30被引用数 4

ひとこと要約

本稿では、連続ドメインを有限近似なしに直接扱える離散化フリーの知識勾配法を提案する。この手法により、グローバル最適解への収束が高速化され、バッチ処理および導出可能設定へも拡張可能であり、特にノイズのある評価下でも従来のBO手法を上回る。

ABSTRACT

This paper studies Bayesian ranking and selection (R&S) problems with correlated prior beliefs and continuous domains, i.e. Bayesian optimization (BO). Knowledge gradient methods [Frazier et al., 2008, 2009] have been widely studied for discrete R&S problems, which sample the one-step Bayes-optimal point. When used over continuous domains, previous work on the knowledge gradient [Scott et al., 2011, Wu and Frazier, 2016, Wu et al., 2017] often rely on a discretized finite approximation. However, the discretization introduces error and scales poorly as the dimension of domain grows. In this paper, we develop a fast discretization-free knowledge gradient method for Bayesian optimization. Our method is not restricted to the fully sequential setting, but useful in all settings where knowledge gradient can be used over continuous domains. We show how our method can be generalized to handle (i) batch of points suggestion (parallel knowledge gradient); (ii) the setting where derivative information is available in the optimization process (derivative-enabled knowledge gradient). In numerical experiments, we demonstrate that the discretization-free knowledge gradient method finds global optima significantly faster than previous Bayesian optimization algorithms on both synthetic test functions and real-world applications, especially when function evaluations are noisy; and derivative-enabled knowledge gradient can further improve the performances, even outperforming the gradient-based optimizer such as BFGS when derivative information is available.

研究の動機と目的

• 連続ベイジアン最適化における知識勾配法の離散化近似の限界を解消すること。
• 離散化誤差を回避し、次元数に伴うスケーリングも効率的に行える手法を開発すること。
• 知識勾配をバッチおよび導出可能最適化設定へ拡張すること。
• ノイズのある関数評価下でも収束速度とロバスト性を向上させること。

提案手法

• 知識勾配を連続ドメイン上の積分として定式化し、有限離散化を回避する。
• 解析的または数値的積分を用いて、連続探索空間における期待改善を計算する。
• 複数の点を同時に最適化することで、連合期待値最大化を用いてバッチ獲得関数へ一般化する。
• 勾配に基づく更新を含めるように知識勾配を拡張し、導出情報を統合することで探索効率を向上させる。
• 共役事前分布と効率的なサンプリング戦略を活用することで、計算の実行可能性を維持する。
• 完全逐次的および並列最適化設定の両方をサポートし、応用文脈に応じて柔軟性を発揮する。

実験結果

リサーチクエスチョン

• RQ1 離散化なしに、知識勾配を連続ドメインに効果的に適用できるか？
• RQ2 ノイズのある評価下で、離散化フリー手法の性能は従来のベイジアン最適化アルゴリズムと比べてどうか？
• RQ3 この手法はバッチおよび導出可能最適化をサポートできるか？
• RQ4 導出可能バージョンは、BFGSのような勾配ベースのソルバーを上回るか？

主な発見

• 離散化フリーの知識勾配法は、合成関数および実世界のテスト関数において、従来のベイジアン最適化アルゴリズムよりもグローバル最適解に著しく高速に到達する。
• ノイズのある関数評価下では、従来手法の離散化誤差が性能を低下させるが、本手法はその影響を軽減し、優れた性能を示す。
• バッチ版（並列知識勾配）により、並列評価が効率的に行え、サンプル効率が向上する。
• 導出可能知識勾配は、導出情報が利用可能な場合、BFGSを上回る性能を発揮し、決定論的最適化と比較してベイジアンモデリングの利点を示す。
• グリッドベースの近似が存在しないため、次元数の増加に伴うスケーリングにおいて、離散化代替手法よりも優れた性能を示す。