[論文レビュー] NUBO: A Transparent Python Package for Bayesian Optimization

Mike Diessner, Kevin J. Wilson+1 more|ArXiv.org|May 11, 2023

Advanced Multi-Objective Optimization Algorithms被引用数 4

ひとこと要約

NUBO は、ガウス過程の代理モデルと獲得関数を用いて、物理実験やシミュレータなどの高価なブラックボックス関数の効率的でサンプル効率の良い最適化を可能にする、軽量で透過的な Python パッケージです。制限付き、制約付き、または混合（離散／連続）パラメータ空間をサポートし、逐次的、並列的、非同期的最適化を実現しており、わずか 826 行のコードでほぼ最適な性能を達成しています。6次元のテストケースでは、ランダムサンプリングやラテンハイパーリンクサンプリングを上回っています。

ABSTRACT

NUBO, short for Newcastle University Bayesian Optimisation, is a Bayesian optimization framework for the optimization of expensive-to-evaluate black-box functions, such as physical experiments and computer simulators. Bayesian optimization is a costefficient optimization strategy that uses surrogate modelling via Gaussian processes to represent an objective function and acquisition functions to guide the selection of candidate points to approximate the global optimum of the objective function. NUBO itself focuses on transparency and user experience to make Bayesian optimization easily accessible to researchers from all disciplines. Clean and understandable code, precise references, and thorough documentation ensure transparency, while user experience is ensured by a modular and flexible design, easy-to-write syntax, and careful selection of Bayesian optimization algorithms. NUBO allows users to tailor Bayesian optimization to their specific problem by writing the optimization loop themselves using the provided building blocks. It supports sequential single-point, parallel multi-point, and asynchronous optimization of bounded, constrained, and/or mixed (discrete and continuous) parameter input spaces. Only algorithms and methods that are extensively tested and validated to perform well are included in NUBO. This ensures that the package remains compact and does not overwhelm the user with an unnecessarily large number of options. The package is written in Python but does not require expert knowledge of Python to optimize your simulators and experiments. NUBO is distributed as open-source software under the BSD 3-Clause license.

研究の動機と目的

• 研究分野を問わず Bayesian 最適化を研究者にアクセス可能にするために、透明性とユーザーエクスペリエンスに重点を置く。
• 不要なアルゴリズムを含まない、最小限で、良好にドキュメント化され、モジュラーな Bayesian 最適化の実装を提供する。
• 単一で一貫したフレームワーク内で、逐次的、並列的、非同期的最適化戦略を統合的にサポートする。
• 統計学やプログラミングの深い専門知識がなくても、モジュラーなブロックを組み合わせて最適化ループをカスタマイズできるようにする。
• 限られた関数評価回数で真の最適解に収束する能力において、ランダムサンプリングやラテンハイパーリンクサンプリングを上回る。

提案手法

• NUBO は、未知のブラックボックス目的関数を表現するためにガウス過程を代理モデルとして使用する。
• 探索と活用のバランスを取るために、獲得関数を用いて新たな評価点を選択する。
• 獲得関数のモンテカルロ近似を用いて、逐次的単一ポイント、並列的マルチポイント、非同期最適化をサポートする。
• ガウス過程、獲得関数、最適化器、テスト関数、ユーティリティの各モジュールサブパッケージを提供し、柔軟なカスタマイズを可能にする。
• 読みやすさと保守性を重視した実装であり、正確な参照と包括的なドキュメントにより透明性を確保する。
• 効率的な計算を実現するため、PyTorch と GPyTorch を基盤とし、有界、制約付き、および混合離散連続パラメータ空間をサポートする。

Figure 1: Bayesian optimisation applied to a 1-dimensional function with one local and one global maximum. Upper confidence bound is used as the acquisition function. The input space is bounded by $[0,10]$ .

実験結果

リサーチクエスチョン

• RQ1 科学・工学分野の非専門家研究者にとって、Bayesian 最適化をどのようにしてよりアクセスしやすくできるか？
• RQ2 最小限で透明性があり、良好にドキュメント化された Bayesian 最適化の実装は、既存のより大きなパッケージに比べて使いやすさとパフォーマンスで優れるか？
• RQ3 NUBO が並列および非同期最適化をサポートすることで、逐次的手法に比べてどれほどサンプル効率が向上するか？
• RQ4 高次元ブラックボックス関数の真の最適解に収束するという観点で、NUBO のパフォーマンスはランダムサンプリングやラテンハイパーリンクサンプリングと比べてどうか？
• RQ5 826 行の軽量コードベースが、信頼性や機能性を損なわず、高度な Bayesian 最適化機能を効果的にサポートできるか？

主な発見

• 70 回の評価後に 3.3076 の近似解を達成し、真の最大値 3.32237 に非常に近い結果を示しており、高いサンプル効率を示している。
• 最良の出力を第 51 回反復目で達成しており、パラメータ空間の有効な探索と活用が行われていたことが示された。
• 収束速度と最終的な解の品質の両面で、ランダムサンプリングおよびラテンハイパーリンクサンプリングを上回った。
• BoTorch の 27,100 行に比べ、わずか 826 行の極めてシンプルなコードベースでありながら、高い機能性を実現している。
• 並列および非同期最適化を効果的にサポートしており、同時に複数の評価が可能な環境では、より速い収束が可能である。
• モジュラーな設計により、良好にドキュメント化され、組み合わせ可能なコンポONENTを用いて、ユーザーがカスタム最適化ループを容易に構築できる。これにより、柔軟性と再現性が向上した。

Figure 2: NUBO flowchart. Overview of the recommended algorithms for specific problems. Start in yellow, decisions in blue, and recommended algorithm in green.