[論文レビュー] Max-value Entropy Search for Efficient Bayesian Optimization

Zi Wang, Stefanie Jegelka|arXiv (Cornell University)|Mar 6, 2017

Gaussian Processes and Bayesian Inference被引用数 181

ひとこと要約

MES は最大値 y* に基づく相互情報量に基づく計算的に軽量な取得を導入し、最大値の値 y* を最大化することに重点を置く ES/PES よりもコストがはるかに低く、特に高次元で競争力があるまたはそれを上回る性能を達成します。

ABSTRACT

Entropy Search (ES) and Predictive Entropy Search (PES) are popular and empirically successful Bayesian Optimization techniques. Both rely on a compelling information-theoretic motivation, and maximize the information gained about the $\arg\max$ of the unknown function; yet, both are plagued by the expensive computation for estimating entropies. We propose a new criterion, Max-value Entropy Search (MES), that instead uses the information about the maximum function value. We show relations of MES to other Bayesian optimization methods, and establish a regret bound. We observe that MES maintains or improves the good empirical performance of ES/PES, while tremendously lightening the computational burden. In particular, MES is much more robust to the number of samples used for computing the entropy, and hence more efficient for higher dimensional problems.

研究の動機と目的

• ES/PES の代替として、 argmax x* ではなく最大値 y* に関する情報に焦点を当てることで scalable なアプローチを動機付ける。
• tractable なエントロピー近似を備えた MES を効率的な取得関数として開発する。
• Add-GP による高次元への MES の拡張。
• GP-UCB、PI、EST への理論的接続を確立し、MES の変種に対する後悔分析を提供する。
• 合成データと実世界の最適化タスクでの経験的な効率性と頑健性を示す。

提案手法

• argmax への焦点を y* に関する情報へ置き換える（取得関数 alpha_t(x) = I((x,y); y* | D_t)）。
• p(y|D_t,x) および p(y|D_t,x,y*) を用いて相互情報量を実用的で扱いやすい形に導出し、近似的な閉形式を得る（式 (Eq. 6)）。
• y* の分布を (i) Gumbel サンプリング、または (ii) GP からの後方関数をサンプリングしてそれらを最大化する（ランダム機能）ことによって近似する。
• MES と EST、GP-UCB、PI との間の関係を確立し、単一の y* サンプル下での同値性を示す（補題 3.1）。
• 高次元入力へ MES を拡張するために加法 GP（Add-GP）を用い、加法成分ごとに別々の取得を行い、その後連結する。
• GP ハイパーパラメータを周辺化するか、サンプリングする（スライスサンプリング）ことで実践的なハイパーパラメータ適応を提供する。

実験結果

リサーチクエスチョン

• RQ1 MES は ES/PES と比較して BO の性能を維持または向上させつつ計算負荷を削減できるか。
• RQ2 MES は GP-UCB、PI、EST などの確立済み BO 基準とどのように関連し、接続されるか。
• RQ3 加法ガウス過程を用いて高次元問題へ MES を拡張して性能を失うことなく実現できるか。
• RQ4 y* の Gumbel サンプル vs 後方関数サンプリングを用いた場合の実験的性能にはどのような影響があるか。
• RQ5 MES の変種に対してどのような後悔の保証が確立できるか。

主な発見

方法	推論後悔 (Eggholder)	推論後悔 (Shekel)	推論後悔 (Michalewicz)
UCB	141.00±70.96	9.40±0.26	6.07±0.53
PI	52.04±39.03	6.64±2.00	4.97±0.39
EI	71.18±59.18	6.63±0.87	4.80±0.60
EST	55.84±24.85	5.57±2.56	5.33±0.46
ES	48.85±29.11	6.43±2.73	5.11±0.73
PES	37.94±26.05	8.73±0.67	5.17±0.74
MES-R	54.47±37.71	6.17±1.80	4.97±0.59
MES-G	46.56±27.05	5.45±2.07	4.49±0.51

• MES は合成データセットおよび実世界タスク全体で、単純さと推論後悔の点で ES/PES と競合するかそれを上回る。
• MES は y* または x* のサンプル数が増えるにつれて、PES/ES よりも著しく低い1回あたりの計算時間を示す。
• MES-G（ガンベルベースのサンプリング）および MES-R（ランダム特徴ベースのサンプリング）は y* サンプル数に対して頑健で、高次元へスケールする。
• Add-MES は MES を加法 GP に効果的に適用し、高次元でも性能を保持する。
• 単純な後悔境界は MES の変種に対して確立され、MES を EST および GP-UCB の下での単変量 y* サンプリング制度と結びつける。