[논문 리뷰] Search Algorithms for Automated Hyper-Parameter Tuning

Leila Zahedi, Farid Ghareh Mohammadi외 3명|arXiv (Cornell University)|2021. 04. 29.

Online Learning and Analytics참고 문헌 18인용 수 43

한 줄 요약

이 논문은 MIDFIELD 교육 데이터셋에서 여러 전통 ML 모델에 대해 자동 하이퍼파라미터 최적화(HPO)를 위한 그리드 탐색과 랜덤 탐색을 평가하고, 베이스라인 및 수동 조정 대비 일관된 정확도 향상을 보인다.

ABSTRACT

Machine learning is a powerful method for modeling in different fields such as education. Its capability to accurately predict students' success makes it an ideal tool for decision-making tasks related to higher education. The accuracy of machine learning models depends on selecting the proper hyper-parameters. However, it is not an easy task because it requires time and expertise to tune the hyper-parameters to fit the machine learning model. In this paper, we examine the effectiveness of automated hyper-parameter tuning techniques to the realm of students' success. Therefore, we develop two automated Hyper-Parameter Optimization methods, namely grid search and random search, to assess and improve a previous study's performance. The experiment results show that applying random search and grid search on machine learning algorithms improves accuracy. We empirically show automated methods' superiority on real-world educational data (MIDFIELD) for tuning HPs of conventional machine learning classifiers. This work emphasizes the effectiveness of automated hyper-parameter optimization while applying machine learning in the education field to aid faculties, directors', or non-expert users' decisions to improve students' success.

연구 동기 및 목표

• 교육 데이터 마이닝에서 예측 정확도를 향상시키기 위해 자동 하이퍼파라미터 최적화(HPO)의 사용을 촉진한다.
• 여러 ML 알고리즘에 두 가지 자동 HPO 방법(그리드 탐색과 랜덤 탐색)을 개발하고 적용한다.
• 종단 교육 데이터셋에서 자동 HPO가 수동 조정 및 기본 매개변수보다 성능이 우수한지 평가한다.
• 학생 졸업 예측에 대한 모델 선택 및 예측 성능에 대한 HPO의 영향력을 보여준다.

제안 방법

• MIDFIELD 컴퓨팅 전공 데이터에 대한 데이터 전처리 및 특성 공학을 적용한다.
• 7개 ML 모델(DT, RF, NB, LR, XGB, SVM, KNN)에 대해 그리드 탐색(GS)과 랜덤 탐색(RS)으로 하이퍼파라미터를 자동으로 조정한다.
• GS와 RS를 기본 HP(초기값) 및 이전 연구와 비교하고, 정확도로 방법별 최적 모델을 선택한다.
• 3-fold 교차 검증을 사용하고 정확도 및 튜닝 시간 보고한다.
• GS 단계 크기를 정의한다(연속 값은 0.5, 이산 값은 1, RF/XGB의 n_estimators 제외는 5의 간격으로).
• 전처리, GS, RS 및 모델 선택의 공동 프로세스를 개략하는 의사코드(GRS-AutoHP)를 제공한다.

실험 결과

연구 질문

• RQ1 자동 HPO 방법 GS 및 RS가 다수의 ML 모델에서 기본/기본 매개변수 대비 예측 정확도를 향상시키는가?
• RQ2 MIDFIELD 데이터셋에서 컴퓨팅 전공 졸업 예측에 대해 GS와 RS가 수동 조정 및 서로에 비해 어떻게 비교되는가?
• RQ3 이 교육적 종단 맥락에서 어떤 모델이 자동 HPO의 혜택을 가장 많이 받는가?
• RQ4 대규모 교육 데이터셡에 GS와 RS를 적용할 때 튜닝 시간과 정확도 간의 트레이드오프는 무엇인가?

주요 결과

• 자동 HPO 방법 GS 및 RS는 MIDFIELD의 7개 모델 모두의 정확도를 향상시킨다.
• XGBoost와 Random Forest는 HPO 하에서 강한 성능을 자주 보이며, 베이스라인 대비 눈에 띄는 개선이 있다.
• 도메인 지식을 사용한 수동 조정과 비교했을 때 자동 HPO가 더 높은 정확도를 산출한다.
• RF와 XGB는 GS/RS 아래에서 일관되게 높은 정확도를 달성하고 기본값을 능가한다.
• GS와 RS는 일반적으로 기본값을 능가하고 이전의 수동 튜닝 결과와 일치하거나 능가한다.