[論文レビュー] What do you Mean? The Role of the Mean Function in Bayesian Optimisation

George De Ath, Jonathan E. Fieldsend+1 more|Open Research Exeter (University of Exeter)|Apr 17, 2020

Advanced Multi-Objective Optimization Algorithms参考文献 40被引用数 5

ひとこと要約

本論文は、ガウス過程ベースのベイズ最適化における異なる平均関数の影響を調査し、最悪の観測値を定数平均関数として使用することで、高次元の合成問題において収束を一貫して加速することが判明した。この手法は、算術平均などの標準的な選択肢を上回り、高次元設定における期待改善（Expected Improvement）と併用することを推奨する。

ABSTRACT

Bayesian optimisation is a popular approach for optimising expensive black-box functions. The next location to be evaluated is selected via maximising an acquisition function that balances exploitation and exploration. Gaussian processes, the surrogate models of choice in Bayesian optimisation, are often used with a constant prior mean function equal to the arithmetic mean of the observed function values. We show that the rate of convergence can depend sensitively on the choice of mean function. We empirically investigate 8 mean functions (constant functions equal to the arithmetic mean, minimum, median and maximum of the observed function evaluations, linear, quadratic polynomials, random forests and RBF networks), using 10 synthetic test problems and two real-world problems, and using the Expected Improvement and Upper Confidence Bound acquisition functions. We find that for design dimensions $\ge5$ using a constant mean function equal to the worst observed quality value is consistently the best choice on the synthetic problems considered. We argue that this worst-observed-quality function promotes exploitation leading to more rapid convergence. However, for the real-world tasks the more complex mean functions capable of modelling the fitness landscape may be effective, although there is no clearly optimum choice.

研究の動機と目的

• 異なる平均関数がベイズ最適化の性能に与える影響、特に収束速度と解の質の観点から調査すること。
• 標準的でない平均関数（ゼロ平均や算術平均を超えるもの）が最適化の結果を改善できるかどうかを特定すること。
• 合成ベンチマークと実世界の問題との間で、平均関数の有効性が異なるかどうかを評価すること。
• 高次元最適化における強化（エクスプロイテーション）を促進する、単純で効果的な平均関数戦略の実証的証拠を提供すること。

提案手法

• 8種類の平均関数を評価：定数関数（観測値の算術平均、最小値、中央値、最大値）、線形および二次多項式、ランダムフォレスト、RBFネットワーク。
• 10個の合成テスト問題と2つの実世界問題（次元数2〜10）に対して、期待改善（Expected Improvement）および上部信頼境界（Upper Confidence Bound）の獲得関数を用いてベイズ最適化を適用。
• 初期サンプルは制約領域内で一様に抽出され、CMA-ESを用いて獲得関数を最適化し、制約違反に対してペナルティを課した。
• 収束性は51回の独立実験における中央値のレグレットと四分位範囲で測定され、非パラメトリック検定を用いて統計的同等性を評価した。
• 最適化中は平均関数を固定した。本研究では平均関数とカーネルハイパーパrameterの共同学習は行わなかった。
• 性能は収束速度と得られた最良解の質に基づいて評価された。

実験結果

リサーチクエスチョン

• RQ1 ガウス過程モデルにおける平均関数の選択が、ベイズ最適化における収束速度に顕著な影響を与えるか？
• RQ2 定数関数、多項式関数、非パラメトリック関数といった異なる平均関数は、合成問題と実世界問題の両方でどのように性能を発揮するか？
• RQ3 高次元設定において、ゼロ平均や算術平均といった標準的選択肢を常に上回る平均関数が存在するか？
• RQ4 合成ベンチマークと実世界アプリケーションとの間で、平均関数の性能が異なる理由は何か？

主な発見

• 設計次元数が5以上の場合、合成問題において最悪の観測値に等しい定数平均関数（Max）を用いることで、他の平均関数よりも一貫して優れた性能を示し、収束が加速された。
• Max平均関数は、10個の合成テスト関数のうち9つにおいて、最も優れた性能を示した平均関数と統計的に同等であり、多様な関数的ランドスケープにわたる頑健性を示した。
• 実世界問題（PitzDailyおよびロボットプッシュング）においては、Max平均関数は一般的に用いられる算術平均と同等の性能を示したが、特定の平均関数が顕著に優れたとは言えなかった。
• Max平均関数は、保守的な事前期待値を設定することで強化を促進し、探索がモデルの不確実性によって暗黙的に提供される高次元環境において収束性を向上させる。
• 合成ベンチマークは、実世界問題の関数的ランドスケープを反映していない可能性があり、問題タイプごとに平均関数の性能が一貫しないことから裏付けられた。
• 結果から、単純でデータ駆動型の定数平均関数（最悪観測値）が、期待改善を用いた高次元ベイズ最適化のための強力なデフォルト選択肢であると示唆された。