[論文レビュー] Bayesian Optimization over Discrete and Mixed Spaces via Probabilistic Reparameterization

Samuel Daulton, Xingchen Wan+4 more|arXiv (Cornell University)|Oct 18, 2022

Advanced Multi-Objective Optimization Algorithms被引用数 16

ひとこと要約

本稿では、離散的および混合空間におけるベイズ最適化のための確率的再パラメータ化（PR）を提案する。離散的パラメータを連続的確率分布に再パラメータ化することで、これらの分布上で期待的な獲得関数を最適化することにより勾配ベースの最適化を可能にし、停留在点への収束を達成するとともに、標準的なBOのリグレットバウンドを維持する。実世界の離散的および混合探索空間を有する問題において、既存手法を上回る性能を発揮する。

ABSTRACT

Optimizing expensive-to-evaluate black-box functions of discrete (and potentially continuous) design parameters is a ubiquitous problem in scientific and engineering applications. Bayesian optimization (BO) is a popular, sample-efficient method that leverages a probabilistic surrogate model and an acquisition function (AF) to select promising designs to evaluate. However, maximizing the AF over mixed or high-cardinality discrete search spaces is challenging standard gradient-based methods cannot be used directly or evaluating the AF at every point in the search space would be computationally prohibitive. To address this issue, we propose using probabilistic reparameterization (PR). Instead of directly optimizing the AF over the search space containing discrete parameters, we instead maximize the expectation of the AF over a probability distribution defined by continuous parameters. We prove that under suitable reparameterizations, the BO policy that maximizes the probabilistic objective is the same as that which maximizes the AF, and therefore, PR enjoys the same regret bounds as the original BO policy using the underlying AF. Moreover, our approach provably converges to a stationary point of the probabilistic objective under gradient ascent using scalable, unbiased estimators of both the probabilistic objective and its gradient. Therefore, as the number of starting points and gradient steps increase, our approach will recover of a maximizer of the AF (an often-neglected requisite for commonly used BO regret bounds). We validate our approach empirically and demonstrate state-of-the-art optimization performance on a wide range of real-world applications. PR is complementary to (and benefits) recent work and naturally generalizes to settings with multiple objectives and black-box constraints.

研究の動機と目的

• 勾配法が失敗する高基数または混合離散連続探索空間における獲得関数最適化の課題に対処すること。
• 全組み合わせの列挙なしに、離散的構成を効率的かつスケーラブルに最適化できる手法を開発すること。
• 再パラメータ化による確率的目的関数の最大化が、元の獲得関数の最適方策と同一であり、理論的リグレットバウンドを保持することを証明すること。
• 実世界のブラックボックス最適化問題における離散的および混合パラメータを有する問題において、実験的に最先端の性能を達成することを示すこと。
• カーネルの選択に依存しない形で、既存のBOフレームワーク（多目的、制約付き、信頼領域法など）と互換性を持つようにすること。

提案手法

• 離散的パラメータを単体上の連続的確率分布に再パラメータ化し、離散的最適化問題を確率分布上の連続的最適化問題に変換する。
• 再パラメータ化された離散的分布上の獲得関数の期待値として確率的目的関数（PO）を定義する。
• 確率的目的関数およびその確率パラメータに関する勾配の不偏かつスケーラブルなモンテカルロ推定器を導出する。
• これらの推定器を用いて確率的勾配上昇法を適用し、POの表面の停留在点に確実に収束することを証明する。
• POの最大化点が元の獲得関数の最大化点と正確に一致することを証明し、方策とリグレット保証の同等性を保証する。
• 任意のカーネル（カテゴリカル、埋め込みベース、ワンホットエンコードなど）を用いた離散変数に対するカーネルをサポートする標準的なベイズ最適化パイプラインに統合する。

実験結果

リサーチクエスチョン

• RQ1 確率的再パラメータ化を用いて、離 discrete および混合空間における獲得関数最大化問題を連続的最適化問題に再定式化できるか？
• RQ2 離散的選択の確率分布上での獲得関数の期待値を最適化することで、標準的なベイズ最適化の理論的リグレットバウンドが保持されるか？
• RQ3 反復回数と初期点の数が増加するにつれて、再パラメータ化された目的関数に対する確率的勾配上昇法が、元の獲得関数のグローバル最大値に収束するか？
• RQ4 確率的再パラメータ化の性能は、進化的アルゴリズムや勾配フリー最適化といった既存手法と比較して、実世界の離散的および混合最適化タスクでどのように異なるか？
• RQ5 提案手法は、微分不能または離散入力カーネルを含む、さまざまな確率的モデルや離散的パラメータのカーネルに対して広く適合可能か？

主な発見

• 確率的再パラメータ化により、標準的な勾配法が離散変数と不適合であるという問題を克服し、離 discrete および混合空間における勾配ベース最適化を可能にする。
• 本手法は確率的目的関数の停留在点に確実に収束し、十分な反復回数と初期点の数がある場合、元の獲得関数のグローバル最大値を回復する。
• 実験的結果から、PRは溶接ビーム設計や化学反応収率最適化を含む多様な実世界問題において最先端の最適化性能を達成することが示された。
• PRは進化的アルゴリズム PortfolioDiscreteOnePlusOne よりも顕著に優れたログリグレット性能を示したが、ウォールタイムでは遅い。
• 本手法は離散的パラメータのカーネル選択に依存せず、カテゴリカル、埋め込みベース、ワンホットエンコードカーネルをすべてサポートするため、広範な適用性を有する。
• Adamを用いた確率的最適化とモンテカルロ勾配推定器は、決定的最適化や学習率減衰付き確率的勾配上昇法を常に上回る性能を示した。