[論文レビュー] Framework and Benchmarks for Combinatorial and Mixed-variable Bayesian Optimization

Kamil Dreczkowski, Antoine Grosnit+1 more|arXiv (Cornell University)|Jun 16, 2023

Advanced Multi-Objective Optimization Algorithms被引用数 6

ひとこと要約

本論文は、代理モデル、獲得関数、獲得最適化手法を相互に交換可能なコンponentsに分離することで、系統的なベンチマークが可能なモジュラーなフレームワークをMixed-variable and Combinatorial Bayesian Optimization (MCBO)に導入する。著者らは47種の新しいMCBOアルゴリズムを実装し、4,000件を超える実験を通じて、信頼領域最適化と適切に適合されたモデルを組み合わせたものが既存手法を上回ることを示した。これは、モデルの適合度と信頼領域の使用の重要性を強調している。

ABSTRACT

This paper introduces a modular framework for Mixed-variable and Combinatorial Bayesian Optimization (MCBO) to address the lack of systematic benchmarking and standardized evaluation in the field. Current MCBO papers often introduce non-diverse or non-standard benchmarks to evaluate their methods, impeding the proper assessment of different MCBO primitives and their combinations. Additionally, papers introducing a solution for a single MCBO primitive often omit benchmarking against baselines that utilize the same methods for the remaining primitives. This omission is primarily due to the significant implementation overhead involved, resulting in a lack of controlled assessments and an inability to showcase the merits of a contribution effectively. To overcome these challenges, our proposed framework enables an effortless combination of Bayesian Optimization components, and provides a diverse set of synthetic and real-world benchmarking tasks. Leveraging this flexibility, we implement 47 novel MCBO algorithms and benchmark them against seven existing MCBO solvers and five standard black-box optimization algorithms on ten tasks, conducting over 4000 experiments. Our findings reveal a superior combination of MCBO primitives outperforming existing approaches and illustrate the significance of model fit and the use of a trust region. We make our MCBO library available under the MIT license at \url{https://github.com/huawei-noah/HEBO/tree/master/MCBO}.

研究の動機と目的

• MCBO研究における標準化され多様なベンチマークの欠如が、新しい手法の公平な比較を妨げているという問題に対処する。
• MCBOコンポONENTの組み合わせにおける実装のオーバーヘッドを低減し、新しいアルゴリズムの組み合わせの迅速なプロトタイピングと評価を可能にする。
• 10のタスクで12のベースラインと比較して47の新しいアルゴリズムを体系的に評価することで、MCBOの基本的要素に関する包括的な実験的調査を実施する。
• 混合変数および組合せ的最適化において、最も効果的な代理モデル、獲得関数、獲得最適化手法の組み合わせを同定する。
• 再現性の向上と今後の研究を加速するため、完全にオープンソースでMITライセンスに準拠したMCBOライブラリをリリースする。

提案手法

• フレームワークはMCBOを3つのコアコンponentにモジュラー化する：代理モデル、獲得関数、獲得最適化手法。これにより、1行のコードインターフェースで任意の組み合わせが可能となる。
• ガウス過程に加え、さまざまなカーネル（例：SSK、HED、Diff.）を備えたモデル、線形回帰、およびモデルに依存しないアプローチをサポートする。
• 獲得最適化手法には、信頼領域制約付きの方法として、勾配上昇、勾配降下、シミュレーテッド・アニーリング、遺伝的アルゴリズム、MABベースの戦略が含まれる。
• フレームワークは信頼領域最適化をネイティブにサポートし、成功/失敗履歴に基づいて、組合せ的および連続的変数の半径を動的に調整する。
• Kriging Believer戦略を用いてバッチ獲得サンプリングを可能とし、過去の評価を「幻視化」することで、逐次的バッチ選択を改善する。
• システムには入力正規化、出力標準化、および拒否サンプリングによる入力制約のサポートを備え、耐障害性と実世界への適用可能性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 混合変数および組合せ的ベイズ最適化において、どの代理モデル、獲得関数、獲得最適化手法の組み合わせが最も優れたパフォーマンスを発揮するか？
• RQ2 収束速度と解の品質の観点から、信頼領域に基づく獲得最適化は、非制約的または非適応的最適化戦略と比べてどのように異なるか？
• RQ3 カーネル選択と代理モデルの品質で測定されるモデルの適合度は、全体の最適化パフォーマンスにどの程度影響を及えるか？
• RQ4 さまざまな合成的および実世界のベンチマークにおいて、異なる獲得関数最適化手法（例：勾配降下 vs. 遺伝的アルゴリズム）の性能はどのように異なるか？
• RQ5 標準化され、モジュラーなフレームワークは、実装のオーバーヘッドを顕著に低減し、より体系的かつ再現可能なMCBO研究を可能にするか？

主な発見

• ガウス過程に文字列部分列カーネル（SSK）を組み合わせ、信頼領域制約付きの勾配降下を用いた組み合わせが、ベンチマークスイート全体で他のすべての設定を上回った。
• 信頼領域の使用は収束速度と耐障害性を顕著に向上させ、特に高次元および滑らかでない探索空間において顕著であった。
• モデルの適合度はパフォーマンスの決定的要因であった：目的関数の構造をよりよく捉えたカーネルは、収束速度の向上と高い解品質をもたらした。
• フレームワークにより、47種の新しいMCBOアルゴリズムの実装と評価が可能となり、基本的コンponentの体系的組み合わせの実現可能性と価値が実証された。
• 提案されたフレームワークにより、アルゴリズムの構成に要する実装のオーバーヘッドが1行のコードにまで低減され、迅速なプロトタイピングと再現性が可能になった。
• MITライセンスに準拠したオープンソースのMCBOライブラリは、今後の研究および産業応用のための再利用可能な基盤を提供している。