[論文レビュー] Budgeted Batch Bayesian Optimization With Unknown Batch Sizes

Vu Nguyen, Santu Rana+3 more|arXiv (Cornell University)|Mar 15, 2017

Machine Learning and Algorithms参考文献 43被引用数 6

ひとこと要約

本稿では、無限ガウス・ミックスチャネル・モデル（IGMM）を用いて獲得関数内のピーク数を推定することで、各反復で動的に最適なバッチサイズを決定する柔軟なバッチベイズ最適化手法である予算付きバッチベイズ最適化（B3O）を提案する。獲得関数からの効率的なサンプリングを実現するため、バッチ一般化スライス・サンプリングを採用することで、重複評価を回避し、関数評価回数を減らしながら、ハイパーパramータチューニングや実験設計において、固定バッチ手法を上回る収束性能を達成する。

ABSTRACT

Parameter settings profoundly impact the performance of machine learning algorithms and laboratory experiments. The classical grid search or trial-error methods are exponentially expensive in large parameter spaces, and Bayesian optimization (BO) offers an elegant alternative for global optimization of black box functions. In situations where the black box function can be evaluated at multiple points simultaneously, batch Bayesian optimization is used. Current batch BO approaches are restrictive in that they fix the number of evaluations per batch, and this can be wasteful when the number of specified evaluations is larger than the number of real maxima in the underlying acquisition function. We present the Budgeted Batch Bayesian Optimization (B3O) for hyper-parameter tuning and experimental design - we identify the appropriate batch size for each iteration in an elegant way. To set the batch size flexible, we use the infinite Gaussian mixture model (IGMM) for automatically identifying the number of peaks in the underlying acquisition functions. We solve the intractability of estimating the IGMM directly from the acquisition function by formulating the batch generalized slice sampling to efficiently draw samples from the acquisition function. We perform extensive experiments for both synthetic functions and two real world applications - machine learning hyper-parameter tuning and experimental design for alloy hardening. We show empirically that the proposed B3O outperforms the existing fixed batch BO approaches in finding the optimum whilst requiring a fewer number of evaluations, thus saving cost and time.

研究の動機と目的

• 事前に定めたバッチサイズによる固定バッチベイズ最適化の非効率性を是正する。具体的には、予め設定されたバッチサイズのため、重複評価や評価漏れが生じる問題を解消する。
• 各反復において、獲得関数に存在する意味のあるピーク数を推定することで、柔軟なバッチサイズ選択を可能にする。
• 高価なブラックボックス最適化問題において、グローバル最適解に到達するための関数評価回数を削減する。
• 機械学習のハイパーパramータチューニングや材料科学分野の実験設計など、実世界の応用において、効率性とコスト効率を向上させる。
• 無駄な評価を避ける非グリーディで適応的なアプローチを構築し、ノイズが多いか、劣悪な性能の点の評価を回避する。

提案手法

• 獲得関数に内在するピーク数を非パrametricに推定することで、自動的にバッチサイズを決定可能な無限ガウス・ミックスチャネル・モデル（IGMM）を用いる。
• 直接的なIGMMのフィッティングが困難であるのを克服するため、獲得関数からのサンプリングを効率的に行うバッチ一般化スライス・サンプリング法を定式化する。
• ガウス過程（GP）の事後平均と分散を活用し、不確実性が高く、潜在的な価値が大きい領域を探索する。
• 推定されたピーク数に基づいて、重複または低価値の点をグリーディに選択しないように、バッチ点を動的に選択する。
• IGMMとスライス・サンプリングをベイズ最適化のループに統合し、各適応的バッチ評価後にサロゲートモデルを更新する。
• 合成問題および実世界の問題（SVR、BNMC、MLP、アルミ・スカンジウム合金の硬化）に本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 固定された事前指定バッチサイズに依存せずに、各反復で最適なバッチサイズを動的に決定できるベイズ最適化手法は存在するか？
• RQ2 最適化の過程で、無限ガウス・ミックスチャネル（IGMM）は、獲得関数に存在する意味のあるピーク数をどれほど正確に推定できるか？
• RQ3 IGMMとスライス・サンプリングを用いた適応的バッチサイズ選択は、固定バッチ手法と比較して、より速い収束と少ない関数評価回数を達成できるか？
• RQ4 提案手法は、ハイパーパramータチューニングや材料設計といった実世界の応用において、既存のバッチベイズ最適化手法を上回ることができるか？
• RQ5 バッチ一般化スライス・サンプリング法は、複雑で多次元の獲得関数から、どれほど効率的かつ正確にサンプリングを可能にするか？

主な発見

• MLPを用いたMNISTデータセットにおいて、B3Oは98.47%の最高精度を達成し、固定バッチベースラインすべてを上回るモデル性能を示した。
• SVRハイパーパramータチューニングにおいて、B3Oは比較対象すべての手法の中で最小のRMSEを達成し、優れた最適化効率を示した。
• BNMCマルチラベル分類において、B3Oは最高のF1スコアを達成し、より優れた汎化性能と最適化性能を示した。
• アルミ・スカンジウム合金の硬化実験では、B3Oが最少の物理的実験回数で最大硬度88.3を達成し、ベースラインを上回った。
• すべてのベンチマークタスクにおいて、B3Oは固定バッチ手法よりも少ない合計関数評価回数を要した。これは、コストと時間の面での効率性を裏付けた。
• 本手法は、獲得関数の真のピーク数を的確に同定し、過剰評価や不十分評価を避ける知的で適応的なバッチサイズ選択を可能にした。