[論文レビュー] SnAKe: Bayesian Optimization with Pathwise Exploration

Jose Pablo Folch, Shiqiang Zhang+6 more|arXiv (Cornell University)|Jan 31, 2022

Innovative Microfluidic and Catalytic Techniques Innovation被引用数 8

ひとこと要約

SnAKeは、入力コストを最小化するためのベイズ最適化手法を導入し、低コスト経路に沿って順次クエリを順序付けすることで、非同期的で入力コストが高い環境における効率的な最適化を可能にする。古典的BOと同等のレグレットを達成しながら、入力コストを最大4倍まで削減でき、遅延フィードバックや大きな入力変化ペナルティ下でも特に効果的である。

ABSTRACT

Bayesian Optimization is a very effective tool for optimizing expensive black-box functions. Inspired by applications developing and characterizing reaction chemistry using droplet microfluidic reactors, we consider a novel setting where the expense of evaluating the function can increase significantly when making large input changes between iterations. We further assume we are working asynchronously, meaning we have to select new queries before evaluating previous experiments. This paper investigates the problem and introduces 'Sequential Bayesian Optimization via Adaptive Connecting Samples' (SnAKe), which provides a solution by considering large batches of queries and preemptively building optimization paths that minimize input costs. We investigate some convergence properties and empirically show that the algorithm is able to achieve regret similar to classical Bayesian Optimization algorithms in both synchronous and asynchronous settings, while reducing input costs significantly. We show the method is robust to the choice of its single hyper-parameter and provide a parameter-free alternative.

研究の動機と目的

• ブラックボックス最適化において、クエリ間で大きな変更を行う場合の高い入力コストの課題に対処すること。
• 結果の遅延がある非同期フィードバック環境下でも、以前の結果が入手可能になる前に新しいクエリを選択する必要がある状況での有効な最適化を可能にすること。
• 古典的ベイズ最適化と比較して競争力のあるレグレット性能を維持しながら、累積的な入力コストを最小化すること。
• ハイパーパrameterの選択に強く、実用的導入に適したパラメータフリーの代替手法を開発すること。

提案手法

• SnAkeは最適化を経路選択として定式化し、連続する点間の入力変化の合計を最小化するようにクエリを順序付ける。
• 期待改善と入力コストペナルティに基づいて事前に計算・優先順位を付ける経路に沿った探索戦略を採用する。
• 大きな入力遷移をペナルティとして課すコストに配慮した獲得関数を用い、単位コストあたりの期待改善を修正した式：γEIpu(x) = EI(x)/(γ + Cost(x, x_{t-1})) を使用する。
• 新しい観測が到着するたびに最適化経路を動的に更新し、探索とコストに配慮した経路選択のバランスを保つ。
• 観測された入力変化に基づいて自動的にペナルティを調整することで、パラメータフリーなバージョンを導入する。
• HartmannやSnArなどのベンチマーク関数を用いて、同期的および非同期的設定の両方で評価を行う。

実験結果

リサーチクエスチョン

• RQ1 高コスト遷移が生じる環境下でも、大幅に入力コストを削減しながら、レグレットを低く保てるベイズ最適化手法は存在するか？
• RQ2 遅延フィードバックがある非同期環境下で、経路に沿ったクエリ順序付けは、標準的BOに比べてどのように優れているか？
• RQ3 SnAKeはその単一のハイパーパrameterの選択に対してどれほど頑健であり、パラメータフリーなバージョンを効果的に導出できるか？
• RQ4 さまざまなベンチマーク関数と入力次元、異なる遅延条件下でも、この手法はどのように性能を発揮するか？
• RQ5 クエリ順序を考慮しないコストに配慮した獲得関数よりも、コストに配慮した経路選択戦略が優れているか？

主な発見

• SnAkeは、同期的および非同期的設定の両方で、遅延フィードバックがある場合でも古典的ベイズ最適化と同等のレグレットを達成する。
• 入力コスト予算が低い状況では、UCBwLPと比較してSnAkeが最大4倍の入力コスト削減を達成し、最良のレグレット性能を維持する。
• 高遅延（t_delay = 25）の非同期設定下では、SnAkeはEIpuLPおよびUCBwLPを上回り、著しく低いコストで低いレグレットを達成する。
• ハイパーパrameterの選択に対して頑健であり、さまざまなベンチマークおよび遅延条件でも一貫した性能を示す。
• パラメータフリーなSnAkeの変種は、チューニングなしで競争力のある性能を示し、実用的利便性を実証する。
• HartmannおよびSnArベンチマークにおいて、SnAkeは最低のコストを達成しながら、低いレグレットを維持しており、特に大きな予算（T=100）下で顕著である。