[論文レビュー] Enhancing Machine Learning Model Performance with Hyper Parameter Optimization: A Comparative Study

Caner Erden, Halil İbrahim Demir+1 more|arXiv (Cornell University)|Feb 14, 2023

Machine Learning and Data Classification被引用数 6

ひとこと要約

本研究では、機械学習モデルの性能向上を目的として、古典的ハイパラメータ最適化（HPO）手法（グリッドサーチ、ランダムサーチ、ベイズ最適化）とメタヒューリスティックアルゴリズム（遺伝的アルゴリズム（GA）、粒子群最適化（PSO））を比較した。Pythonベースの実装を用いた分類データセットを用いた実験において、PSOはテスト精度（92.62%）、F1スコア（0.92）、トレーニング精度（99.33%）で他のすべての手法を上回り、合理的な計算時間も維持した。これは、性能と効率の両立においてPSOの優位性を示している。

ABSTRACT

One of the most critical issues in machine learning is the selection of appropriate hyper parameters for training models. Machine learning models may be able to reach the best training performance and may increase the ability to generalize using hyper parameter optimization (HPO) techniques. HPO is a popular topic that artificial intelligence studies have focused on recently and has attracted increasing interest. While the traditional methods developed for HPO include exhaustive search, grid search, random search, and Bayesian optimization; meta-heuristic algorithms are also employed as more advanced methods. Meta-heuristic algorithms search for the solution space where the solutions converge to the best combination to solve a specific problem. These algorithms test various scenarios and evaluate the results to select the best-performing combinations. In this study, classical methods, such as grid, random search and Bayesian optimization, and population-based algorithms, such as genetic algorithms and particle swarm optimization, are discussed in terms of the HPO. The use of related search algorithms is explained together with Python programming codes developed on packages such as Scikit-learn, Sklearn Genetic, and Optuna. The performance of the search algorithms is compared on a sample data set, and according to the results, the particle swarm optimization algorithm has outperformed the other algorithms.

研究の動機と目的

• 機械学習モデルの精度向上を目的とした、古典的およびメタヒューリスティックなハイパラメータ最適化（HPO）手法の性能を評価・比較すること。
• 異なるHPOアルゴリズムにおける最適化性能と計算効率（CPU時間）のトレードオフを評価すること。
• 実世界の分類データセットにおいて、モデルの一般化能力と予測性能を向上させるために最も効果的なHPO手法を特定すること。
• Scikit-learn、Optuna、sklearn-geneticなどのPythonライブラリを用いた、再現可能なHPOワークフローを実装するコードを提供すること。

提案手法

• 本研究では、固定されたデータセットに対して5つのHPO技術（グリッドサーチ、ランダムサーチ、ベイズ最適化、遺伝的アルゴリズム（GA）、粒子群最適化（PSO））を用いた。
• 主なモデルパラメータのためのハイパーパラメータ探索空間を定義した：n_estimators（50–400）、max_features（4–10）、max_depth（4–10）、criterion（‘gini’、‘entropy’）。
• 性能評価には、トレーニングセットおよびテストセットにおける適合率、再現率、F1スコアを用い、15回の独立した実行により妥当性を確保した。
• PSOアルゴリズムでは、集団サイズ10、40世代、認知的・社会的パラメータφ₁ = φ₂ = 0.5を設定した。
• GAでは、集団サイズ10、40世代、交叉確率0.9、突然変異確率0.05を設定した。
• すべてのアルゴリズムは、Scikit-learn、Optuna、skopt、sklearn-geneticなどのライブラリを用いてPythonで実装され、12GB RAMおよびi7プロセッサ搭載のラップトップで実行された。

実験結果

リサーチクエスチョン

• RQ1 与えられた分類データセットにおいて、古典的かメタヒューリスティックなハイパラメータ最適化手法のどちらが最高のテスト精度を達成するか？
• RQ2 異なるHPOアルゴリズムの計算時間はどのように比較されるか。また、速度と性能のバランスが最も良いのはどれか？
• RQ3 粒子群最適化（PSO）は、ベイズ最適化、遺伝的アルゴリズム、および従来の探索手法と比較して、優れた一般化能力とF1スコアを達成するか？
• RQ4 学習率やオプティマイザの選択といった、相互に依存するハイパーパラメータが、HPOの結果にどの程度影響を与えるか？

主な発見

• 粒子群最適化（PSO）は、92.62％の最高のテスト精度を達成し、ベイズ最適化（86.11％）、GA（86.09％）、ランダムサーチ（84.25％）、グリッドサーチ（82.97％）を顕著に上回った。
• PSOは99.33％の完璧なトレーニング精度を記録し、強い学習能力と最小限のアンダーフィッティングを示した。
• PSOは「DOWN」クラスで0.94の最高F1スコア、「UP」クラスで0.92のF1スコアを達成し、クラスごとの一般化能力に優れたことを示した。
• PSOのCPU時間は1,286.4秒と合理的であり、GA（6,639.02秒）やベイズ最適化（5,850.78秒）を上回り、ランダムサーチ（2,567.56秒）よりも高速だった。
• グリッドサーチは最も低いCPU時間（714.89秒）を記録したが、テスト精度も最悪であり、速度が性能を保証するわけではないことを裏付けた。
• すべてのアルゴリズムにおいて「DOWN」クラスは「UP」クラスよりも高い適合率と再現率を示したが、PSOは全指標で最高値を記録した。