[論文レビュー] Bayesian Optimization is Superior to Random Search for Machine Learning Hyperparameter Tuning: Analysis of the Black-Box Optimization Challenge 2020

Ryan Turner, David Eriksson+5 more|arXiv (Cornell University)|Apr 20, 2021

Machine Learning and Data Classification参考文献 56被引用数 163

ひとこと要約

本論文は、代理モデルとアンサンブルを用いたベイズ最適化が、NeurIPS 2020 Black-Box Optimization Challenge における機械学習のハイパーパラメータ調整タスクで、ランダムサーチを顕著に上回り、未見の問題でも強い利得を維持したと報告する。

ABSTRACT

This paper presents the results and insights from the black-box optimization (BBO) challenge at NeurIPS 2020 which ran from July-October, 2020. The challenge emphasized the importance of evaluating derivative-free optimizers for tuning the hyperparameters of machine learning models. This was the first black-box optimization challenge with a machine learning emphasis. It was based on tuning (validation set) performance of standard machine learning models on real datasets. This competition has widespread impact as black-box optimization (e.g., Bayesian optimization) is relevant for hyperparameter tuning in almost every machine learning project as well as many applications outside of machine learning. The final leaderboard was determined using the optimization performance on held-out (hidden) objective functions, where the optimizers ran without human intervention. Baselines were set using the default settings of several open-source black-box optimization packages as well as random search.

研究の動機と目的

• 実データセット上で機械学習モデルのハイパーパラメータを調整するための微分不可能（ブラックボックス）最適化アルゴリズムの動機づけと評価。
• 非公開の（保持外の）目的関数を用いた公正なベンチマークプロトコルを提供する。
• ベースライン手法と代理モデルおよびアンサンブル戦略の利点を評価する。
• ソルバー選択、オープンソースツール、機械学習ハイパーパラメータ最適化における課題について実用的な洞察を提供する。

提案手法

• 評価コストの高い評価値を持つ有界領域での最小化問題としてブラックボックス最適化を定義する。
• Bayesmark を用いて異種の問題間で最適化アルゴリズムの性能を正規化・評価する。
• デフォルトのベースライン（ランダムサーチを含む）とオープンソースのBOツールを含むスターターキットを提供する。
• 壁時計制約を反映するため、問題ごとに16回の反復、バッチ8の評価予算を実行する。
• 並列に複数点を提案できるオープンループのサジェスト-観測最適化を奨励する。
• ブートストラップと問題分割のランダム化で結果を分析し、順位の信頼性を評価する。

実験結果

リサーチクエスチョン

• RQ1 実データで多様な問題に対して、ベイズ最適化はランダムサーチより一貫して優れているか？
• RQ2 実用的な予算下で、デフォルトのBOパッケージはランダムサーチとどう比較され、互いにどう比較されるか？
• RQ3 BO手法間のアンサンブル戦略は、異種のML調整タスクで性能を向上させるか？
• RQ4 競争力のある結果を達成する上で、オープンソースツールとウォームスタート/メタ学習が果たす役割は何か？
• RQ5 サンプリングの変動性と問題の異質性に対して、結果はどれくらい頑健か？

主な発見

• 上位20名の多くは代理モデル支援型最適化を用い、ランダムサーチに対して実質的な改善を達成した。
• 最終リーダーボードで65チーム中61チームがランダムサーチのベースラインを上回り、上位5位のランキングはブートストラップ分析で統計的に頑健であった。
• アンサンブル（複数の代理モデル、獲得法、あるいは最適化手法のファミリーを組み合わせること）は、個別手法より顕著な改善をもたらした。
• 信頼域法（TuRBO）と確率的RBF（pySOT）のアプローチは最も強力なベースラインの中にあった。これらを他の手法と組み合わせたアンサンブルが最良となることが多かった。
• オープンソースツールとウォームスタート/メタ学習戦略の活用は実用的な性能向上に寄与した。複数の上位チームは、既存のBOコンポーネントを組み込むことで、独自のソリューションよりも良い結果を出した。