[論文レビュー] Black-Box Optimization Revisited: Improving Algorithm Selection Wizards through Massive Benchmarking

Laurent Meunier, Herilalaina Rakotoarison+6 more|arXiv (Cornell University)|Oct 8, 2020

Metaheuristic Optimization Algorithms Research参考文献 59被引用数 40

ひとこと要約

本論文は、広範なブラックボックス最適化ベンチマークスイートである OptimSuite を提案し、タスク固有の調整を行わなくても多様なタスクで高いパフォーマンスを発揮する汎用アルゴリズム選択ウィザード ABBO を紹介します。

ABSTRACT

Existing studies in black-box optimization for machine learning suffer from low generalizability, caused by a typically selective choice of problem instances used for training and testing different optimization algorithms. Among other issues, this practice promotes overfitting and poor-performing user guidelines. To address this shortcoming, we propose in this work a benchmark suite, OptimSuite, which covers a broad range of black-box optimization problems, ranging from academic benchmarks to real-world applications, from discrete over numerical to mixed-integer problems, from small to very large-scale problems, from noisy over dynamic to static problems, etc. We demonstrate the advantages of such a broad collection by deriving from it Automated Black Box Optimizer (ABBO), a general-purpose algorithm selection wizard. Using three different types of algorithm selection techniques, ABBO achieves competitive performance on all benchmark suites. It significantly outperforms previous state of the art on some of them, including YABBOB and LSGO. ABBO relies on many high-quality base components. Its excellent performance is obtained without any task-specific parametrization. The OptimSuite benchmark collection, the ABBO wizard and its base solvers have all been merged into the open-source Nevergrad platform, where they are available for reproducible research.

研究の動機と目的

• 選択的な問題インスタンスに起因するブラックボックス最適化ベンチマークの一般化性の欠如に対処する。
• 学術的なものから実世界の問題、離散・連続・混合整数、ノイズを含むもの、動的な問題までを含む、広範で公開されたベンチマークスイート（OptimSuite）を作成する。
• 高レベルの問題特徴量を活用してソルバーを選択・順序付けする、タスク固有の調整を行わない汎用アルゴリズム選択ツール（ABBO）を開発する。
• OptimSuite および YABBOB や LSGO のような既存ベンチマークに対して、ABBO の競争力のある性能を実証する。

提案手法

• 複数のベンチマーク（例：YABBOB、LSGO、MuJoCo、Pyomo、MLDA）を統合し、Nevergrad 互換の統一オープンプラットフォームに組み込んで OptimSuite を構築する。
• 受動的、アクティブ（bet-and-run）、チェーニング選択戦略を用いたポートフォリオベースのウィザードとして ABBO を設計する。
• ノイズの多い設定で特に、意思決定点と推奨を分離する ask-tell-recommend フレームワークを用いる。
• 次元、変数タイプ、ノイズの有無、予算、並列性など、広範な問題特性を備えた、タスク非依存の詳細な評価プロトコルを提供する。
• ABBO を Shiwa および Nevergrad のベースソルバーと、OptimSuite の異なるバリアントおよび既存スイート全体で比較評価する。
• 再現性のある研究のため、Nevergrad ダッシュボードに結果とコードを公開する。

実験結果

リサーチクエスチョン

• RQ1 OptimSuite はさまざまな問題設定に対して、本当に広範で偏りのないブラックボックス最適化のベンチマークを提供できるか。
• RQ2 ABBO はタスク固有の調整なしに、広範なベンチマーク全体で競争力のあるまたは優れた性能を達成するか。
• RQ3 ABBO は設計や調整に使用されていない問題へどの程度一般化できるか。
• RQ4 チェーニングと高度な数理計画ソリューションの要素が ABBO の性能に与える影響は何か。
• RQ5 YABBOB や LSGO のような確立されたベンチマークにおいて、ABBO は LA-MCTS や Shiwa のような専門ソルバーとどう比較されるか。

主な発見

• ABBO は広範な OptimSuite ベンチマークで競争力のある性能を発揮し、しばしば従来の最先端手法を上回る。
• ABBO は YABBOB および LSGO で高い性能を示し、チェーニングとより強力な局所収束戦略により Shiwa を改善する。
• OptimSuite は Nevergrad における自動リランとダッシュボードを備えたオープンソースで再現可能なベンチマークを提供する。
• 新しい高次元またはノイズの多いバンディット系手法が ABBO を上回るケースを認識しており、継続的な開発の可能性を示している。
• 実世界のタスク（MuJoCo、Pyomo、PowerSystems など）でも ABBO は堅牢で競争力があり、良好な一般化を示している。
• ABBO はいくつかのベンチマークで LA-MCTS のようなタスク特化型手法を上回る一方、タスク間の扱いを均一に保つ。