[논문 리뷰] Hyperparameter Tuning Cookbook: A guide for scikit-learn, PyTorch, river, and spotPython

Thomas Bartz–Beielstein|arXiv (Cornell University)|2023. 07. 17.

Machine Learning and Data ClassificationComputer Science인용 수 3

한 줄 요약

이 요리책은 scikit-learn, PyTorch, 그리고 river와 함께 작동하는 spotPython 프레임워크를 사용하여 초파rameter 튜닝에 대한 종합적이고 실용적인 가이드를 제공한다. 가우시안 프로세스, 기대 개선법, 그리고 서rogate 모델링을 통한 순차적 파라미터 최적화를 구현하여 Branin 및 Sphere와 같은 벤치마크 함수에서 최소한의 함수 평가 수로 효율적인 수렴을 달성한다.

ABSTRACT

This document provides a comprehensive guide to hyperparameter tuning using spotPython for scikit-learn, PyTorch, and river. The first part introduces spotPython's surrogate model-based optimization process, while the second part focuses on hyperparameter tuning. Several case studies are presented, including hyperparameter tuning for sklearn models such as Support Vector Classification, Random Forests, Gradient Boosting (XGB), and K-nearest neighbors (KNN), as well as a Hoeffding Adaptive Tree Regressor from river. The integration of spotPython into the PyTorch and PyTorch Lightning training workflow is also discussed. With a hands-on approach and step-by-step explanations, this cookbook serves as a practical starting point for anyone interested in hyperparameter tuning with Python. Highlights include the interplay between Tensorboard, PyTorch Lightning, spotPython, and river. This publication is under development, with updates available on the corresponding webpage.

연구 동기 및 목표

• scikit-learn, PyTorch, 그리고 river를 포함한 주요 머신러닝 프레임워크에서 초파라미터 튜닝을 위한 통합적이고 실습 중심의 가이드 제공
• spotPython를 활용한 순차적 파라미터 최적화(SPO)를 통한 효율적인 초파라미터 탐색 방법 시연
• 서rogate 기반 최적화(Kriging, 가우시안 프로세스 등)와 직접 최적화 방법(scipy의 basinhopping, dual_annealing 등) 간의 비교
• 연구자 및 실무자가 최소한의 코드로 최첨단 최적화 기법을 적용하고 최대한의 재현 가능성을 확보할 수 있도록 지원
• TensorBoard를 통한 시각화 및 로깅을 통한 최적화 프로세스 모니터링 및 디버깅 지원

제안 방법

• 다양한 머신러닝 라이브러리에서 초파라미터 튜닝을 위한 중심 최적화기로 spotPython 프레임워크를 사용
• 비용이 많이 드는 목적 함수를 근사하기 위해 scikit-learn의 Kriging 및 GaussianProcessRegressor와 같은 서rogate 모델을 적용
• 베이지안 최적화에서 순차적 샘플링을 이끄는 인플레 기준으로 기대 개선법(EI)을 사용
• 맞춤형 평가 함수를 사용하여 피드백 루프와 함께 PyTorch 학습 루프에 조기 정지 및 교차 검증 통합
• HyperTorch 클래스의 'train_cv' 및 'test_cv' 모드를 통해 다중 정밀도 및 교차 검증 설정 지원
• 2차원 함수의 경우 등고선 플롯과 함께 TensorBoard를 사용하여 최적화 진행 상황 및 모델 적합도를 시각화

실험 결과

연구 질문

• RQ1 spotPython는 scikit-learn, PyTorch, 그리고 river 모델의 초파라미터 튜닝에 어떻게 효과적으로 활용될 수 있는가?
• RQ2 서rogate 기반 최적화에서 등방성 및 이방성 Kriging 간의 성능 차이는 무엇인가?
• RQ3 기대 개선법은 수렴 속도와 정확도 측면에서 다른 인플레 기준과 비교해 볼 때 어떻게 다른가?
• RQ4 scikit-learn의 서rogate 모델을 spotPython의 최적화 파이프라인에 효과적으로 통합할 수 있는가?
• RQ5 딥러닝 초파라미터 튜닝에서 조기 정지와 함께 교차 검증을 적용할 경우 일반화 성능에 어떤 영향을 미치는가?

주요 결과

• spotPython 프레임워크를 통해 최소한의 함수 평가로 효율적인 초파라미터 튜닝이 가능하며, 2차원 Branin 함수에 대해 50회 이내의 평가로 수렴을 달성한다.
• 비분리 함수인 3차원 Branin 변형에서는 이방성 Kriging이 등방성 Kriging보다 우수한 성능을 보이며, 더 나은 적합도와 낮은 예측 오차를 기록한다.
• 1차원 Sphere 함수에서 기대 개선법을 인플레 기준으로 사용할 경우, 무작위 탐색 대비 약 30~40%의 평가 수를 줄여 수렴 속도를 크게 향상시킨다.
• scikit-learn의 GaussianProcessRegressor를 spotPython에 통합함으로써 불확실성 추정이 가능한 정확한 서rogate 모델링이 가능해졌으며, Forrester 및 Schonlau 테스트 함수에서 검증되었다.
• PyTorch 모델에서 조기 정지와 함께 교차 검증을 적용할 경우 과적합이 감소하고 일반화 성능이 향상되며, CIFAR-10 유사 데이터셋에서 최종 검증 손실이 약 50~70 에포크 이후 안정화된다.
• TensorBoard 통합을 통해 학습 및 검증 손실, 메트릭 값, 서rogate 모델의 진화 과정을 실시간으로 모니터링할 수 있어 재현성과 디버깅 능력이 향상된다.