[論文レビュー] Multi-Step Budgeted Bayesian Optimization with Unknown Evaluation Costs

Raul Astudillo, Daniel Jiang+3 more|arXiv (Cornell University)|Nov 12, 2021

Advanced Bandit Algorithms Research参考文献 38被引用数 5

ひとこと要約

本稿では、未知で非一様な評価コストを伴うベイズ最適化における非短期的で予算制約付きの多段階期待改善の獲得関数を提案する。複数ステップにわたり関数の改善とコストへの配慮を同時に最適化することで、合成的および現実世界の問題において、期待改善や単位コストあたりの期待改善といった標準的手法を上回る性能を発揮し、コストの学習が困難で予算制約がある状況でも特に優れた結果を示す。

ABSTRACT

Bayesian optimization (BO) is a sample-efficient approach to optimizing costly-to-evaluate black-box functions. Most BO methods ignore how evaluation costs may vary over the optimization domain. However, these costs can be highly heterogeneous and are often unknown in advance. This occurs in many practical settings, such as hyperparameter tuning of machine learning algorithms or physics-based simulation optimization. Moreover, those few existing methods that acknowledge cost heterogeneity do not naturally accommodate a budget constraint on the total evaluation cost. This combination of unknown costs and a budget constraint introduces a new dimension to the exploration-exploitation trade-off, where learning about the cost incurs the cost itself. Existing methods do not reason about the various trade-offs of this problem in a principled way, leading often to poor performance. We formalize this claim by proving that the expected improvement and the expected improvement per unit of cost, arguably the two most widely used acquisition functions in practice, can be arbitrarily inferior with respect to the optimal non-myopic policy. To overcome the shortcomings of existing approaches, we propose the budgeted multi-step expected improvement, a non-myopic acquisition function that generalizes classical expected improvement to the setting of heterogeneous and unknown evaluation costs. Finally, we show that our acquisition function outperforms existing methods in a variety of synthetic and real problems.

研究の動機と目的

• 評価コストが未知で探索空間全体で大きくばらつきが生じる状況において、ベイズ最適化の分野でそのギャップを埋えること。
• 総予算制約の下で、探索、活用、コスト学習のバランスをとる課題を形式化すること。
• 関数の改善とコストの非一様性の両方を複数ステップにわたり考慮する、原理的で非短期的な獲得関数の開発。
• 期待改善や単位コストあたりの期待改善といった従来の獲得関数が、この設定において任意に劣化しうることを示すこと。

提案手法

• 未知で非一様な評価コストを扱えるように古典的期待改善を拡張した、新規の獲得関数である予算制約付き多段階期待改善（BMSEI）を提案する。
• 各ステップが関数の期待改善と累積コストの両方を考慮するように、複数ステップにわたる逐次的意思決定問題として最適化プロセスを定式化する。
• 初期段階では未知である目的関数と評価コストの両方を、確率的モデル（GP事前分布）を用いて同時にモデル化する。
• 全ステップの期待総コストを事前に定めた制限に制限することで、予算制約を組み込み、コストに配慮した計画を実現する。
• 将来の複数の獲得を考慮する前方探索戦略を採用することで、非短期的意思決定を可能にする。
• コストの不確実性下での期待改善について、解析的近似を導出し、獲得関数の効率的最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 評価コストが未知で非一様な場合、期待改善や単位コストあたりの期待改善といった従来の獲得関数が、任意に劣化しうるか？
• RQ2 総予算制約の下で、関数の改善とコスト学習の両方を非短期的かつ予算に配慮した形で扱えるベイズ最適化フレームワークはどのように設計できるか？
• RQ3 コストの非一様性と未知のコストが、標準的ベイズ最適化手法の性能に与える影響は何か？
• RQ4 提案手法の多段階的・予算制約付き獲得関数は、ベースライン手法と比較して収束速度と最終的な解の質においてどのように異なるか？
• RQ5 提案手法は、現実世界のハイパーパramータチューニングおよびシミュレーションベース最適化タスクにおいて、最先端の手法を上回る性能を達成できるか？

主な発見

• 提案された予算制約付き多段階期待改善獲得関数は、合成的および現実世界の最適化問題において、標準的期待改善や単位コストあたりの期待改善を著しく上回る性能を発揮する。
• 評価コストが著しくばらつき、かつ初期段階で未知である状況でも、同じ予算制約下でグローバル最適解への収束がより速く、効率的に行われる。
• 実験的結果から、獲得関数の非短期的性質が、より効率的なコスト配分と、高性能領域の迅速な同定を可能にしていることが示された。
• 高コスト領域の学習と既知の高性能領域の活用のバランスを効果的にとることで、無駄な評価を削減する。
• ハイパーパramータチューニングおよび物理ベースのシミュレーションタスクにおいて、提案手法はベースラインと比較して最適性能に到達するための評価回数を削減した。