[論文レビュー] A Comparative study of Hyper-Parameter Optimization Tools

Shashank Shekhar, Adesh Bansode+1 more|arXiv (Cornell University)|Jan 17, 2022

Metaheuristic Optimization Algorithms Research被引用数 6

ひとこと要約

本論文は、2つのベンチマーク—結合的アルゴリズム選択およびハイパーパramータ最適化（CASH）問題とNeurIPSブラックボックス最適化チャレンジ—において、4つのハイパーパramータ最適化（HPO）ライブラリ（Optuna、HyperOpt、Optunity、SMAC）を評価している。CASHベンチマークではOptunaが他のライブラリを上回り、MLPアーキテクチャチューニングではHyperOptが最も優れた結果を示し、ニューラルネットワーク応用において優れたパフォーマンスと効率性を発揮した。

ABSTRACT

Most of the machine learning models have associated hyper-parameters along with their parameters. While the algorithm gives the solution for parameters, its utility for model performance is highly dependent on the choice of hyperparameters. For a robust performance of a model, it is necessary to find out the right hyper-parameter combination. Hyper-parameter optimization (HPO) is a systematic process that helps in finding the right values for them. The conventional methods for this purpose are grid search and random search and both methods create issues in industrial-scale applications. Hence a set of strategies have been recently proposed based on Bayesian optimization and evolutionary algorithm principles that help in runtime issues in a production environment and robust performance. In this paper, we compare the performance of four python libraries, namely Optuna, Hyper-opt, Optunity, and sequential model-based algorithm configuration (SMAC) that has been proposed for hyper-parameter optimization. The performance of these tools is tested using two benchmarks. The first one is to solve a combined algorithm selection and hyper-parameter optimization (CASH) problem The second one is the NeurIPS black-box optimization challenge in which a multilayer perception (MLP) architecture has to be chosen from a set of related architecture constraints and hyper-parameters. The benchmarking is done with six real-world datasets. From the experiments, we found that Optuna has better performance for CASH problem and HyperOpt for MLP problem.

研究の動機と目的

• 4つの代表的なHPOライブラリ（Optuna、HyperOpt、Optunity、SMAC）の実世界の機械学習問題における性能を評価・比較すること。
• 異なるHPO戦略における最適化パフォーマンス（モデルの正確性で測定）とランタイム効率のトレードオフを評価すること。
• 2つの異なる課題、すなわち12種類の分類器と58個のハイパーパramータを含むCASH問題と、MLPアーキテクチャ探索を目的としたNeurIPSブラックボックス最適化チャレンジにおけるこれらのツールのベンチマークを実施すること。
• 特に表形式の機械学習とディープラーニングワークロードの区別を踏まえた、ツール選定に関する実証的指針を提供すること。

提案手法

• 本研究では、ベイズ最適化（Optuna、HyperOpt、SMAC）と進化的アルゴリズム（Optunity）を用いてハイパーパramータ探索を実施した。
• CASHベンチマークでは、6つの実世界のデータセットを用い、12種類の分類器を58個のハイパーパramータでチューニングし、正確性とランタイムを評価指標とした。
• NeurIPSチャレンジベンチマークでは、隠れ層サイズ、学習率、バッチサイズ、正則化項を含む9個のハイパーパラメータを持つ多層パーセプトロン（MLP）の最適化を実施した。
• 探索空間は、連続値（対数、ロジット）、整数値（線形）、および指定された範囲を有する実数値パラメータを含む混合タイプで定義された。
• 各ツールに対して、TPE、ランダムサーチ、PSOなどの複数の設定を用いて、最適化戦略ごとのパフォーマンスを比較した。
• 標準的な機械学習パイプラインを用いて実験を行い、データセット全体にわたるパフォーマンスの一般化を評価するため、結果を統合した。

Figure 1: A demonstration of Bayesian optimization on a 1-dimensional maximization problem. The figures show a Gaussian process (GP) approximation of the objective function over four iterations of sampled values of the objective function. The figure also shows the acquisition function in the lower s

実験結果

リサーチクエスチョン

• RQ1 CASHベンチマークにおいて、多様な実世界のデータセットで最高のモデルパフォーマンス（正確性）を達成するのはどのHPOライブラリか？
• RQ2 さまざまな機械学習モデルの最適化において、Optuna、HyperOpt、Optunity、SMACのランタイム特性はどのように比較されるか？
• RQ3 表形式のデータ問題（CASH）とディープラーニングアーキテクチャ探索（MLPチューニング）の間で、HPOツールのパフォーマンスに顕著な差異が生じるか？
• RQ4 各ツールの最適化軌道は反復回数に応じてどれほど安定しているか？これは収束速度や最終的パフォーマンスに影響を与えるか？
• RQ5 進化的または自然由来のアルゴリズム（例：OptunityのPSO）が、特定の問題設定においてベイズ最適化ベースの手法を上回る可能性があるか？

主な発見

• OptunaはCASHベンチマークの全データセットにおいて最高の平均パフォーマンススコアを達成し、nomaoデータセットでは最大のF1スコア0.937144を記録した。
• MLPベンチマークにおいて、HyperOptは最も高速なランタイムを示し、dnaデータセットでは72秒で探索を完了した。これはOptuna（415秒）とSMAC（388秒）を上回った。
• MLP問題において、HyperOptのTPE設定はdnaデータセットで最高スコア0.950322を達成し、Optuna（0.947453）とSMAC（0.950322）を上回った。
• SMACは複数のデータセットで競争力のあるパフォーマンスを示したが、OptunaやHyperOptと比較して顕著にランタイムが長く、nomaoデータセットでは12,316秒を要した。
• OptunityのPSO設定は、すべてのベンチマークで最も低いパフォーマンスを示し、semeionデータセットではスコア0.700295にとどまり、これらのタスクに対しては有効性が限定的であることが示された。
• Optunaは反復にわたる最適化軌道が最も安定しており、OptunityとHyperOptは振動的挙動を示し、収束の一貫性がやや低いことが示された。

Figure 2: Plot of f1-score v/s iteration for benchmark-I. The corresponding algorithm and dataset are marked as a legend in each plot.