[論文レビュー] Hyperparameter Optimization: Foundations, Algorithms, Best Practices and Open Challenges

Bernd Bischl, Martin Binder+10 more|arXiv (Cornell University)|Jul 13, 2021

Machine Learning and Data Classification被引用数 49

ひとこと要約

ハイパーパラメータ最適化(HPO)の包括的な調査で、基礎概念、主要なアルゴリズム（グリッド/ランダム探索、進化戦略、ベイズ最適化）、実践的ガイドライン、そして未解決の課題を概説します。

ABSTRACT

Most machine learning algorithms are configured by one or several hyperparameters that must be carefully chosen and often considerably impact performance. To avoid a time consuming and unreproducible manual trial-and-error process to find well-performing hyperparameter configurations, various automatic hyperparameter optimization (HPO) methods, e.g., based on resampling error estimation for supervised machine learning, can be employed. After introducing HPO from a general perspective, this paper reviews important HPO methods such as grid or random search, evolutionary algorithms, Bayesian optimization, Hyperband and racing. It gives practical recommendations regarding important choices to be made when conducting HPO, including the HPO algorithms themselves, performance evaluation, how to combine HPO with ML pipelines, runtime improvements, and parallelization. This work is accompanied by an appendix that contains information on specific software packages in R and Python, as well as information and recommended hyperparameter search spaces for specific learning algorithms. We also provide notebooks that demonstrate concepts from this work as supplementary files.

研究の動機と目的

• 手作業の時間がかかるチューニングを自動化されたHPOへ置換する必要性を動機づける。
• 教師あり学習におけるHPOの形式的で一般的な枠組みを提示する。
• 主要なHPO手法とそれらの長所・限界を網羅する。
• HPOにおける評価、探索空間、並列化に関する実践的な推奨事項を提供する。
• HPOにおける未解決課題と今後の方向性を議論する。

提案手法

• HPO問題を、リサンプリングされた汎化推定値を介して、確率的でブラックボックスの目的関数 c(λ)を最適化することとして定義する。
• 探索空間 Λ と潜在的な階層的/条件付きハイパーパラメータを特徴づける。
• 確立されたHPOアルゴリズム（グリッド探索/ランダム探索、進化戦略、ベイズ最適化）を概観する。
• リサンプリング戦略（ホールドアウト、交差検証）と一般化推定への影響を説明する。
• HPOがMLパイプラインと前処理段階にどのように統合されるかを説明する。
• リサンプリング手法の選択、探索空間の定義、HPOの並列化に関する実践的なガイダンスを提供する。

実験結果

リサーチクエスチョン

• RQ1 教師あり学習におけるハイパーパラメータ最適化の核心となる理論的・実践的基盤は何か？
• RQ2 主要なHPOアルゴリズムは、探索/利用、ノイズ処理、スケーラビリティの観点でどのように比較されるか？
• RQ3 実際のMLワークフローにおけるHPOの有効性と再現性を向上させる実践的ガイドラインは何か？
• RQ4 頑健な最適化のために、階層的・条件付きハイパーパラメータを含む探索空間をどのように構築すべきか？
• RQ5 将来の研究を指針づけるために、HPOにはどのような未解決の課題が残っているか？

主な発見

• HPOは、境界付きで、場合によっては階層的な探索空間上のブラックボックスかつ確率的最適化問題として構成できる。
• リサンプリングベースの汎化誤差推定によりHPCの評価が可能だが、ネストされたCVで軽減できるバイアスを導入する。
• グリッド探索とランダム探索は単純な基準法である。高次元ではランダム探索がしばしばグリッド探索より性能を上回る。
• ベイズ最適化は、代理モデルと獲得関数を用いて、コストの高い評価に対して探索と活用のバランスを効率的に取る。
• 進化戦略はノイズに対する頑健性と複雑な探索空間への適性を提供するが、HPOには多くの評価を必要とする場合がある。