[論文レビュー] OpenBox: A Python Toolkit for Generalized Black-box Optimization

Huaijun Jiang, Yu Shen+6 more|arXiv (Cornell University)|Apr 26, 2023

Metaheuristic Optimization Algorithms Research被引用数 6

ひとこと要約

OpenBoxは、多目的最適化、制約付き最適化、カテゴリー型パラメータを含む一般化ブラックボックス最適化（BBO）をサポートするPythonツールキットであり、既存のシステムに見られる制限を克服するモジュラーで使いやすいフレームワークを提供する。ベイズ最適化やCMA-ESといった最先端のアルゴリズムを統合し、自動アルゴリズム選択機能を備え、ハイパーパラメータチューニングやデータベース最適化を含む多様な実世界の応用分野で優れた性能と効率性を示している。

ABSTRACT

Black-box optimization (BBO) has a broad range of applications, including automatic machine learning, experimental design, and database knob tuning. However, users still face challenges when applying BBO methods to their problems at hand with existing software packages in terms of applicability, performance, and efficiency. This paper presents OpenBox, an open-source BBO toolkit with improved usability. It implements user-friendly interfaces and visualization for users to define and manage their tasks. The modular design behind OpenBox facilitates its flexible deployment in existing systems. Experimental results demonstrate the effectiveness and efficiency of OpenBox over existing systems. The source code of OpenBox is available at https://github.com/PKU-DAIR/open-box.

研究の動機と目的

• 複数の目的関数、制約条件、カテゴリー型パラメータを含む一般化ブラックボックス最適化（BBO）のための包括的でスケーラブルかつ使いやすいプラットフォームの不足を解消すること。
• 既存のBBOツールが限定的な機能、限られたアルゴリズムサポートによる不安定なパフォーマンス、非効率な逐次実行といった制限に直面しているのを克服すること。
• 初心者から熟練者までが使いやすいモジュラーなアーキテクチャと直感的なインターフェースを備えることで、実世界のシステムへの柔軟な導入を可能にすること。
• 問題の特徴に基づく自動設定を統合することで、高度なアルゴリズムを組み合わせることで最適化の効率性と有効性を向上させること。
• 自動機械学習、データベースチューニング、交通シミュレーションなどの分野への広範な適用を可能にする拡張性のある設計を実現すること。

提案手法

• アドバイザー（最適化アルゴリズムエンジン）、エグゼキューター（関数評価マネージャー）、ビジュアライザー（リアルタイム監視と分析）の3つのコアコンponentsからなるモジュラーなシステムアーキテクチャを実装すること。
• 既存のワークフローおよびシステムへのシームレスな統合を可能にする、ask-and-tellインタフェースとラップドサービスインタフェースの両方をサポートすること。
• ガウス過程および確率的ランダムフォレストのスラグレートモデルを備えたベイズ最適化、進化的アルゴリズム、CMA-ESを含む、幅広い最先端のBBOアルゴリズムを統合すること。
• 問題の特徴に基づく自動アルゴリズム選択を実施する。例として、高次元または大規模な予算を要する問題では、計算上の不適合を避けるために確率的ランダムフォレストに切り替える。
• 収束曲線、SHAPベースの特徴重要度、多目的最適化のためのパレートフロント／ハイパーボリュームチャートを含む、可視化ツールを提供すること。
• 分散コンピューティングリソースを効率的に活用できるように、逐次実行と並列実行の両方をサポートすることでスケーラビリティを確保すること。

Figure 1: Simplified overview of supported scenarios and built-in algorithms in OpenBox .

実験結果

リサーチクエスチョン

• RQ1 多目的最適化、制約条件、カテゴリー型パラメータを含む一般化最適化シナリオをサポートするBBOツールキットは、どのように設計できるか？
• RQ2 多様なBBO問題において安定的かつ高パフォーマンスを発揮するための、アーキテクチャ的およびアルゴリズム的選択とは何か？
• RQ3 専門的なチューニングを要せず、最適化の効率性を向上させるために自動アルゴリズムおよびハイパーパramータ選択が可能かどうか？
• RQ4 高度な可視化機能と使いやすいインターフェースの統合は、実世界のBBO応用における使いやすさと解釈可能性をどのように向上させるか？
• RQ5 統合されたBBOツールキットは、パフォーマンス、スケーラビリティ、実世界での導入の観点から、既存の特化型プラットフォームをどの程度上回れるか？

主な発見

• OpenBoxは、幅広いBBOタスクにおいて既存のシステムを上回る性能を示し、優れた最適化効率性と収束速度を実証した。
• このツールキットは、データベースチューニング（DBTune）、交通シミュレーション、グラフニューラルアーキテクチャ探索（SGL）を含む複雑な実世界の問題を効果的に処理し、実用的価値を証明した。
• CIKM 2021 AnalytiCup Track 2で優勝を達成し、産業界のベンチマーク環境における有効性が裏付けられた。
• TencentおよびByteDanceの生産環境システムにOpenBoxのコンponentsが導入されており、実世界の環境におけるスケーラビリティと堅牢性が確認された。
• 自動アルゴリズム選択メカニズムは、高次元の探索空間などの問題特徴に適応し、よりスケーラブルなスラグレートモデル（例：確率的ランダムフォレスト）に切り替えることで効果的に機能した。
• SHAPベースの重要度分析やパレートフロントの追跡を含む可視化ツールは、最適化中の行動可能なインサイトを提供し、モデルの解釈性を向上させた。

Figure 2: System overview of OpenBox , including the system architecture (upper left), an example of the ask-and-tell interface using Advisor (right), and an example of visualization interfaces (bottom left).