[논문 리뷰] Enhancing Machine Learning Model Performance with Hyper Parameter Optimization: A Comparative Study

Caner Erden, Halil İbrahim Demir외 1명|arXiv (Cornell University)|2023. 02. 14.

Machine Learning and Data Classification인용 수 6

한 줄 요약

이 연구는 기계학습 모델 성능 향상을 위해 고전적 하이퍼파rameter 최적화(HPO) 방법—그리드 서치, 랜덤 서치, 베이지안 최적화—와 메타휴리스틱 알고리즘—유전 알고리즘(GA), 입자 군집 최적화(PSO)—를 비교한다. 파이썬 기반 구현을 통해 분류 데이터셋에서 PSO가 테스트 정확도(92.62%), F1 점수(0.92), 학습 정확도(99.33%)에서 모든 다른 방법보다 뛰어나며, 합리적인 계산 시간을 유지하여 성능과 효율성의 균형에서 열등함을 입증한다.

ABSTRACT

One of the most critical issues in machine learning is the selection of appropriate hyper parameters for training models. Machine learning models may be able to reach the best training performance and may increase the ability to generalize using hyper parameter optimization (HPO) techniques. HPO is a popular topic that artificial intelligence studies have focused on recently and has attracted increasing interest. While the traditional methods developed for HPO include exhaustive search, grid search, random search, and Bayesian optimization; meta-heuristic algorithms are also employed as more advanced methods. Meta-heuristic algorithms search for the solution space where the solutions converge to the best combination to solve a specific problem. These algorithms test various scenarios and evaluate the results to select the best-performing combinations. In this study, classical methods, such as grid, random search and Bayesian optimization, and population-based algorithms, such as genetic algorithms and particle swarm optimization, are discussed in terms of the HPO. The use of related search algorithms is explained together with Python programming codes developed on packages such as Scikit-learn, Sklearn Genetic, and Optuna. The performance of the search algorithms is compared on a sample data set, and according to the results, the particle swarm optimization algorithm has outperformed the other algorithms.

연구 동기 및 목표

• 기계학습 모델 정확도 향상에 있어 고전적 및 메타휴리스틱 하이퍼파rameter 최적화(HPO) 기법의 성능을 평가하고 비교하는 것.
• 다양한 HPO 알고리즘 간 최적화 성능와 계산 효율성(CPU 시간) 간의 상호 상충 관계를 평가하는 것.
• 실제 분류 데이터셋에서 모델 일반화 능력과 예측 성능 향상에 가장 효과적인 HPO 방법을 규명하는 것.
• 재현 가능한 HPO 워크플로우를 위한 실용적 코드를 제공하는 것. 사용된 라이브러리로는 Scikit-learn, Optuna, sklearn-genetic 등이 포함된다.

제안 방법

• 연구는 고정된 데이터셋에 대해 다섯 가지 HPO 기법—그리드 서치, 랜덤 서치, 베이지안 최적화, 유전 알고리즘(GA), 입자 군집 최적화(PSO)—를 적용한다.
• 핵심 모델 파라미터에 대한 하이퍼파rameter 탐색 공간을 정의한다: n_estimators(50–400), max_features(4–10), max_depth(4–10), criterion('gini', 'entropy').
• 정밀도, 재현율, F1 점수를 사용하여 훈련 세트와 테스트 세트에서 성능을 평가하며, 정확도 확보를 위해 15회의 독립 실행을 실시한다.
• PSO 알고리즘은 인구 수 10명, 40세대, 인지/사회적 파라미터 φ₁ = φ₂ = 0.5를 사용한다.
• GA는 인구 수 10명, 40세대, 교차 확률 0.9, 돌연변이 확률 0.05를 사용한다.
• 모든 알고리즘은 파이썬으로 구현되었으며, Jupyter 노트북을 사용하고, Scikit-learn, Optuna, skopt, sklearn-genetic 등의 라이브러리를 활용한다. 실험은 12GB RAM과 i7 프로세서를 탑재한 노트북에서 수행되었다.

실험 결과

연구 질문

• RQ1 주어진 분류 데이터셋에서 고전적 방법과 메타휴리스틱 방법 중 어느 HPO 기법이 가장 높은 테스트 정확도를 달성하는가?
• RQ2 다양한 HPO 알고리즘의 계산 시간은 어떻게 비교되며, 어떤 방법이 성능과 속도의 최적 균형을 제공하는가?
• RQ3 입자 군집 최적화(PSO)가 베이지안 최적화, 유전 알고리즘, 기존의 검색 방법보다 뛰어난 일반화 능력과 F1 점수를 달성하는가?
• RQ4 학습률과 옵티마이저 선택과 같은 상호 연결된 하이퍼파rameter들이 HPO 결과에 얼마나 큰 영향을 미치는가?

주요 결과

• 입자 군집 최적화(PSO)는 92.62%의 최고 테스트 정확도를 기록하여, 베이지안 최적화(86.11%), GA(86.09%), 랜덤 서치(84.25%), 그리드 서치(82.97%)를 뛰어넘었다.
• PSO는 훈련 정확도 99.33%를 기록하여 강력한 학습 능력과 낮은 과소적합을 나타내었다.
• PSO는 'DOWN' 클래스에 대해 F1 점수 0.94, 'UP' 클래스에 대해 0.92를 기록하여 클래스별 일반화 능력이 뛰어났다.
• PSO는 CPU 시간 1,286.4초를 기록하여 GA(6,639.02초)와 베이지안 최적화(5,850.78초)를 능가했으며, 랜덤 서치(2,567.56초)보다도 빠르게 작동했다.
• 그리드 서치는 CPU 시간이 가장 낮았지만(714.89초), 테스트 정확도도 가장 열 劣하여 속도가 성능을 보장하지는 않음을 확인했다.
• 모든 알고리즘에서 'DOWN' 클래스는 'UP' 클래스보다 정밀도와 재현율이 높게 나타났으며, PSO는 모든 지표에서 최고의 값을 기록했다.