[論文レビュー] SMAC3: A Versatile Bayesian Optimization Package for Hyperparameter Optimization

Marius Lindauer, Katharina Eggensperger+7 more|arXiv (Cornell University)|Sep 20, 2021

Machine Learning and Data Classification参考文献 38被引用数 83

ひとこと要約

SMAC3 は、複数のユースケース（HPO、CASH、MF、AC）をサポートする柔軟でオープンソースのベイズ最適化パッケージです。さまざまなファサード、サロゲート、および獲得戦略を備え、タスク間で堅牢なハイパーパラメータ最適化を実現します。

ABSTRACT

Algorithm parameters, in particular hyperparameters of machine learning algorithms, can substantially impact their performance. To support users in determining well-performing hyperparameter configurations for their algorithms, datasets and applications at hand, SMAC3 offers a robust and flexible framework for Bayesian Optimization, which can improve performance within a few evaluations. It offers several facades and pre-sets for typical use cases, such as optimizing hyperparameters, solving low dimensional continuous (artificial) global optimization problems and configuring algorithms to perform well across multiple problem instances. The SMAC3 package is available under a permissive BSD-license at https://github.com/automl/SMAC3.

研究の動機と目的

• 機械学習アルゴリズムのさまざまなデータセット・タスクにおける高性能ハイパーパラメータ配置の重要性を動機づける。
• 複数のユースケースファサードを提供し、タスク差に対して頑健な柔軟な BO フレームワークを提供する。
• Python および CLI インターフェースによる容易な導入を促進し、並列化オプションとモジュール設計を提供する。

提案手法

• いくつかのベイズ最適化アプローチと獲得関数（例：GP と EI、EI per second、logEI、LCB、TS、PI）を実装する。
• 低次元連続最適化、CASH、マルチフィデリティタスク、アルゴリズム設定に合わせて BO を調整するため、複数のファサード（SMAC4BB、SMAC4HPO、SMAC4MF、SMAC4AC）をサポートする。
• 初期設計を Sobol 配列またはランダム探索で行い、ランダムフォレストやガウス過程などのサロゲートモデルを使用する。
• BO と Hyperband を組み合わせたマルチフィデリティ最適化を統合し（BOHB に類似したアプローチ）、 fidelity レベル間で RF サロゲートを使用する。
• AC のための積極的レースと検閲データの補完を可能にし、専用の TAE（Target Algorithm Evaluator）インターフェースと CLI を提供する。
• DASK とファイルシステムベースの独立した SMAC3 インスタンスによる並列化をサポートする。

実験結果

リサーチクエスチョン

• RQ1 SMAC3 は複数のファサードを用いて、多様な問題設定にわたりハイパーパラメータ最適化を堅牢に行えるか。
• RQ2 SMAC3 のサロゲートモデルと獲得戦略は、低次元の HPO、CASH、マルチフィデリティ、AC タスクでベースラインと比較してどの程度機能するか。
• RQ3 SMAC3 のマルチフィデリティと積極的レース機構の経験的性能は、ベンチマーク問題でどのようか。
• RQ4 Python および CLI などのインターフェースと並列化オプションによって、実用性が向上しているか。
• RQ5 標準的な HPO ベンチマークにおいて、Dragonfly、BOHB、Hyperband など他の BO ツールと比較して SMAC3 はどうか。

主な発見

• SMAC3 は、さまざまな BO アプローチと強化（aints）戦略を組み合わせることで、さまざまな HPO タスクで堅牢な性能を提供する。
• マルチフィデリティ設定では、RF ベースのサロゲートと Hyperband 風の予算配分が初期段階で Hyperband に匹敵し、中盤で優れ、最終的には RF を用いる純粋な BO に追いつく。
• SMAC3 は報告された実験で Dragonfly を一貫して上回り、後期には surrogate ベンチマークで BOHB をも上回る。
• Net Letter、Naval Propulsion、Nas1Shot1-2 などの HPOBench のベンチマークを対象とした経験的比較には、サロゲートを用いてのランタイムシミュレーションが含まれる。
• 本論文は SMAC3 を AutoML ツール（auto-sklearn、Auto-PyTorch） の一部として位置づけ、BBO チャレンジでも競合的である。