[論文レビュー] BOHB: Robust and Efficient Hyperparameter Optimization at Scale

Stefan Falkner, Aaron Klein+1 more|arXiv (Cornell University)|Jul 4, 2018

Advanced Neural Network Applications参考文献 3被引用数 180

ひとこと要約

BOHB は ベイズ最適化と Hyperband を組み合わせることで、高次元かつ並列リソースへ拡張可能な、迅速で堅牢なハイパーパラメータ最適化を実現し、多様なタスクにおいて BO と Hyperband の両方を上回る。

ABSTRACT

Modern deep learning methods are very sensitive to many hyperparameters, and, due to the long training times of state-of-the-art models, vanilla Bayesian hyperparameter optimization is typically computationally infeasible. On the other hand, bandit-based configuration evaluation approaches based on random search lack guidance and do not converge to the best configurations as quickly. Here, we propose to combine the benefits of both Bayesian optimization and bandit-based methods, in order to achieve the best of both worlds: strong anytime performance and fast convergence to optimal configurations. We propose a new practical state-of-the-art hyperparameter optimization method, which consistently outperforms both Bayesian optimization and Hyperband on a wide range of problem types, including high-dimensional toy functions, support vector machines, feed-forward neural networks, Bayesian neural networks, deep reinforcement learning, and convolutional neural networks. Our method is robust and versatile, while at the same time being conceptually simple and easy to implement.

研究の動機と目的

• 初期の速い結果と最終的な高い性能のバランスをとる、実践的なハイパーパラメータ最適化（HPO）の動機づけ。
• 高次元で離散・連続が混在する構成空間へのスケーラビリティを達成する。
• 問題領域を横断して堅牢性を維持しつつ、並列リソースを効果的に活用する。
• 多様な機械学習タスクに適した、シンプルで効率的かつ柔軟な HPO 手法を提供する。

提案手法

• Tree Parzen Estimators (TPE) に基づくベイズ最適化コンポーネントと Hyperband (HB) を統合して、構成探索を導く。
• HB におけるランダムな構成サンプリングを、単一の多次元 KDE を用いたモデルベースのサンプリングに置換する。
• さまざまな忠実度で構成を評価するための予算を用い、BO サンプルで得られた構成の集合に対して逐次半分化を適用する。
• 予算間で結果を保持して、徐々に優れたモデルを構築し、最終決定には最大の予算を優先する。
• 探索を保つためのランダム構成の一部を含め、理論的な HB の保証を維持する。
• 観測値を SH ラン間で共有し、SH ランを入れ替えながら多くのワーカーを効率的に活用する。

実験結果

リサーチクエスチョン

• RQ1 ベイズ最適化と Hyperband を組み合わせることで、強力な anytime 性能と強力な最終性能の両方を達成できるか。
• RQ2 BO を多予算評価と高次元空間での相互作用効果に対応させるにはどう適応すればよいか？
• RQ3 BOHB は高次元の混在カテゴリ/連続ハイパーパラメータ空間にスケールし、並列計算を効果的に活用できるか？
• RQ4 BOHB は基準手法と比較して、多様な ML タスク（SVM、ニューラルネット、ベイズネット、強化学習、CNN など）でどのように性能を示すか？
• RQ5 問題を横断する実用的なハイパーパラメータ設定とBOHBの頑健性特性はどのようになるか？

主な発見

• BOHB は幅広い問題タイプにおいて、ベイズ最適化と Hyperband の双方を一貫して上回る。
• BOHB は速い初期進捗とグローバル最適解に近い急速な収束を達成し、最終性能ではHBを、初期の進捗ではBOを上回る。
• BOHB は高次元空間および異種のハイパーパラメータ型（バイナリ、カテゴリ、整数、連続）にスケールする。
• BOHB はニューラルネットワーク、ベイズニューラルネットワーク、強化学習、および畳み込みネットワークにおいて、ベースラインと比べて顕著な性能向上を示す。
• BOHB は実用的なワーカー数までほぼ線形のスピードアップを実現する形で、SH ラン間で共有された観測データを用いて有効な並列化を可能にする。