[論文レビュー] A Tutorial on Bayesian Optimization

Peter I. Frazier|arXiv (Cornell University)|Jul 8, 2018

Advanced Multi-Objective Optimization Algorithms参考文献 78被引用数 372

ひとこと要約

このチュートリアルでは、Gaussian process regressionと獲得関数を用いた高価で黒箱の微分不可能なグローバル最適化のためのBayesian optimization (BayesOpt) を説明します。標準的な拡張とエキゾチックな拡張を含み、並列評価とマルチフィデリティ設定を含みます。

ABSTRACT

Bayesian optimization is an approach to optimizing objective functions that take a long time (minutes or hours) to evaluate. It is best-suited for optimization over continuous domains of less than 20 dimensions, and tolerates stochastic noise in function evaluations. It builds a surrogate for the objective and quantifies the uncertainty in that surrogate using a Bayesian machine learning technique, Gaussian process regression, and then uses an acquisition function defined from this surrogate to decide where to sample. In this tutorial, we describe how Bayesian optimization works, including Gaussian process regression and three common acquisition functions: expected improvement, entropy search, and knowledge gradient. We then discuss more advanced techniques, including running multiple function evaluations in parallel, multi-fidelity and multi-information source optimization, expensive-to-evaluate constraints, random environmental conditions, multi-task Bayesian optimization, and the inclusion of derivative information. We conclude with a discussion of Bayesian optimization software and future research directions in the field. Within our tutorial material we provide a generalization of expected improvement to noisy evaluations, beyond the noise-free setting where it is more commonly applied. This generalization is justified by a formal decision-theoretic argument, standing in contrast to previous ad hoc modifications.

研究の動機と目的

• 高価で微分不可能な黒箱関数を最適化する枠組みとして、Bayesian optimizationを導入する。
• 代替モデルとしてのGaussian process regressionを詳述し、新しい観測に基づいて事後をどのように更新するか。
• 獲得関数（expected improvement、knowledge gradient、entropyベースのアプローチ）を提示し、それらがサンプリングをどのように導くか。
• エキゾチックな拡張（並列評価、マルチフィデリティ、制約、マルチタスク、微分情報）と実務的なソフトウェアに関する考慮事項を議論する。

提案手法

• 目的関数をGaussian processでモデル化し、事後平均と分散を得る。
• GPの事後分布から獲得関数を定義し、次の評価点を選択する（例：EI、KG）。
• posterior mean and varianceを含む閉じた形の式（Eq. 8）を用いてEIを導出し、実装する。
• 代替の獲得関数として、knowledge gradient、entropy search、predictive entropy search を説明する。
• BayesOptをノイズのある評価、 Parallel evaluations、制約、マルチフィデリティ、その他のエキゾチックな設定へ拡張する。
• カーネルと事前分布のハイパーパラメータ選択のガイダンスを提供し、MLE、MAP、完全ベイズ推定などを含む。

実験結果

リサーチクエスチョン

• RQ1 確率的代理モデルを用いて、どのように高価なブラックボックス関数を効率的に最適化できるか。
• RQ2 標準およびエキゾチックなBayesOpt設定で、探索と利用のバランスを最も適切にとる獲得関数は何か。
• RQ3 ノイズ、並列性、複数の情報源を扱うようにBayesian optimizationを拡張するにはどうすればよいか。
• RQ4 BayesOptにおけるGPのハイパーパラメータと計算戦略に関する実務的な考慮事項は何か。
• RQ5 限られた評価回数でのグローバル最適化を可能にするために、異なる獲得戦略はどのように比較されるか。

主な発見

• EIは、有界で実用的な獲得フレームワークを提供し、閉じた形の式を持つ。
• KGは、将来の観測からの情報価値の可能性を説明する意思決定理論的代替手段を提供する。
• エントロピー探索や予測エントロピー探索のような代替獲得は、エキゾチックな設定と制約に対処する。
• 並列評価、マルチフィデリティ、微分情報への拡張は、現実問題へのBayesOptの適用範囲を広げる。
• ノイズのある評価に対するEIの一般化が提案され、形式的な意思決定理論的議論で正当化されている。