[論文レビュー] A hierarchical expected improvement method for Bayesian optimization

Zhehui Chen, Simon Mak+1 more|arXiv (Cornell University)|Nov 17, 2019

Advanced Multi-Objective Optimization Algorithms参考文献 49被引用数 12

ひとこと要約

本稿は、階層的ガウス過程モデルを用いてパラメータの不確実性を統合することで、従来の期待改善（EI）の過剰な貪欲性を是正する階層的期待改善（HEI）フレームワークを提案する。HEIは閉形式の獲得関数を維持し、近ミニマックスレートに近いグローバル収束を達成し、合成的および半導体製造実験においてEIや他の手法を上回る性能を発揮する。

ABSTRACT

The Expected Improvement (EI) method, proposed by Jones et al. (1998), is a widely-used Bayesian optimization method, which makes use of a fitted Gaussian process model for efficient black-box optimization. However, one key drawback of EI is that it is overly greedy in exploiting the fitted Gaussian process model for optimization, which results in suboptimal solutions even with large sample sizes. To address this, we propose a new hierarchical EI (HEI) framework, which makes use of a hierarchical Gaussian process model. HEI preserves a closed-form acquisition function, and corrects the over-greediness of EI by encouraging exploration of the optimization space. We then introduce hyperparameter estimation methods which allow HEI to mimic a fully Bayesian optimization procedure, while avoiding expensive Markov-chain Monte Carlo sampling steps. We prove the global convergence of HEI over a broad function space, and establish near-minimax convergence rates under certain prior specifications. Numerical experiments show the improvement of HEI over existing Bayesian optimization methods, for synthetic functions and a semiconductor manufacturing optimization problem.

研究の動機と目的

• ベイズ最適化における期待改善（EI）の過剰な貪欲性が局所最適への過早収束やグローバル最適の喪失を引き起こすのを是正すること。
• ε-グリーディや分散の拡張といったアドホックな修正に依存せずに、探索を効果的に行う原理的かつ整合的な手法を開発すること。
• モデルの不確実性を組み込みつつも、閉形式の獲得関数を維持することでEIの計算効率を保つこと。
• コストの高いMCMCサンプリングを回避するための新しいハイパーパrameter推定手法を用いて、完全ベイズ最適化の効率的近似を可能にすること。
• 特定の事前分布の仮定の下で、グローバル収束と近ミニマックスレートの収束速度に関する理論的保証を確立すること。

提案手法

• ハイパーパrameterの不確実性を捉える階層的ガウス過程（GP）モデルを提案し、より強固な探索を可能にする。
• 階層的事前分布の積分を用いて閉形式の獲得関数を導出することで、MCMCサンプリングの必要性を回避する。
• 完全ベイズ推論の近似を実現する2つのハイパーパrameter推定手法—最大周辺尤度（MMAP）とデータ駆動スケーリング（DSD）—を導入する。
• ハイパーパラメータの不確実性を高めるモデルを用いて、標準的なEIの過剰な活用傾向を是正する。
• 階層的事後分布における期待改善として獲得関数を定式化し、低不確実性だが潜在的に最適な領域での探索を促進する。
• 広範な目的関数のクラスにおいてHEIのグローバル収束を証明し、特定の事前分布仕様の下で近ミニマックス収束レートを導出する。

実験結果

リサーチクエスチョン

• RQ1 階層的GPモデルは、ベイズ最適化における標準的期待改善（EI）の過剰な貪欲性を効果的に是正できるか？
• RQ2 提案されたHEIフレームワークは、改善された探索と収束を実現しつつも、閉形式の獲得関数を維持できるか？
• RQ3 適切な事前分布の仮定の下で、HEIはグローバル収束と近ミニマックス収束レートを達成できるか？
• RQ4 合成的および実世界の問題において、UCB、SEI、ε-グリーディEIといった既存手法と比較して、HEIの最適化性能はどのように異なるか？
• RQ5 高価なMCMCサンプリングステップを回避しつつ、HEIは完全ベイズ最適化を効率的に近似できるか？

主な発見

• HEI-MMAPおよびHEI-DSDは、合成的および半導体製造のテストケースにおいて、UCB-OK、SEI、ε-グリーディEIを上回り、目的関数の最小化を達成する。
• ウェーパ加熱シミュレーションにおいて、HEIは600 °Fの目標温度により速く収束し、最小限の温度の振動を示す。
• SEIおよびUCB-OK手法は収束が遅く、温度の大きな変動を示し、UCB-OKは目標温度に到達できなかった。
• HEIは広範な関数空間においてグローバル収束を維持し、指定された事前分布の下で近ミニマックス収束レートを達成する。
• HEIフレームワークは、MMAPおよびDSDによるハイパーパラメータ推定を用いて、高価なMCMCサンプリングを回避しながら完全ベイズ最適化を効果的に近似する。
• 数値実験により、HEIがEIの過剰な活用を原理的かつ効率的かつ効果的に是正することを確認した。特に高次元かつ高コストなブラックボックス設定において顕著である。