[論文レビュー] mlrMBO: A Modular Framework for Model-Based Optimization of Expensive Black-Box Functions

Bernd Bischl, Jakob Richter+4 more|arXiv (Cornell University)|Mar 9, 2017

Advanced Multi-Objective Optimization Algorithms参考文献 9被引用数 134

ひとこと要約

mlrMBOは、混合パラメータ空間を持つ高価なブラックボックス関数を扱うモデルベース最適化（ベイズ最適化）のためのRツールボックスであり、サロゲートモデル、インフィル基準、および多目的最適化のためのモジュール化されたコンポーネントを提供します。複数の競合他社に対してベンチマークで最先端の性能を示します。

ABSTRACT

We present mlrMBO, a flexible and comprehensive R toolbox for model-based optimization (MBO), also known as Bayesian optimization, which addresses the problem of expensive black-box optimization by approximating the given objective function through a surrogate regression model. It is designed for both single- and multi-objective optimization with mixed continuous, categorical and conditional parameters. Additional features include multi-point batch proposal, parallelization, visualization, logging and error-handling. mlrMBO is implemented in a modular fashion, such that single components can be easily replaced or adapted by the user for specific use cases, e.g., any regression learner from the mlr toolbox for machine learning can be used, and infill criteria and infill optimizers are easily exchangeable. We empirically demonstrate that mlrMBO provides state-of-the-art performance by comparing it on different benchmark scenarios against a wide range of other optimizers, including DiceOptim, rBayesianOptimization, SPOT, SMAC, Spearmint, and Hyperopt.

研究の動機と目的

• サロゲートモデルで目的関数を近似することにより、高価なブラックボックス最適化に対処する。
• 連続・カテゴリ・条件付きパラメータを混在させた単一目的および多目的最適化をサポートする。
• サロゲート、インフィル基準、オプティマイザなど、モジュール化可能で置換可能なコンポーネントと並列化を提供する。
• 合成データと実世界のベンチマークで最先端の性能を示す。

提案手法

• 評価済み点にサロゲートを適合させ、インフィル基準を介して新しい点を提案する逐次モデルベース最適化ループを採用する。
• 数値データには Kriging、混合データにはランダムフォレストなどのサロゲートモデルを用いて混合空間を有効にし、ネイティブ法またはバギングベースの手法による不確実性推定を行う。
• EI や LCB のようなインフィル基準を用いて活用と探索のバランスを取り、ノイズのある設定や多目的設定のオプションを含める。
• 複数点提案（qLCB、kriging believer）とパラレル評価の戦略を提供する。
• 初期設計、サロゲート、インフィル基準、オプティマイザ、終了条件を差し替え可能なモジュラー設計を提供する。

実験結果

リサーチクエスチョン

• RQ1 単一目的問題において、mlrMBOは他のベイズ最適化ツールと比較してどのように性能を示すか？
• RQ2 mlrMBOは条件付きパラメータを含む混合または階層的なパラメータ空間を効果的に扱えるか？
• RQ3 複数点提案と多目的戦略が最適化性能に与える影響は何か？
• RQ4 サロゲートの選択（Kriging vs. ランダムフォレスト）と不確実性推定手法がインフィル決定にどう影響するか？

主な発見

• mlrMBOはベンチマークのシナリオで他のいくつかのオプティマイザと比較して最先端の性能を達成する。
• 柔軟なサロゲートと欠損値補完を通じて混合パラメータ空間と条件付きパラメータをサポートする。
• 並列評価を可能にする複数のインフィルおよび多点提案戦略を提供する。
• パッケージには多目的最適化機能が含まれており、ハイパーパラメータ調整やMLパイプラインへの適用性を示す。
• ベンチマークは、mlrMBOが様々なタスクで DiceOptim、rBayesianOptimization、SPOT、CMA-ES を上回ることが多いことを示している。