[论文解读] Search Algorithms for Automated Hyper-Parameter Tuning

Leila Zahedi, Farid Ghareh Mohammadi+3 more|arXiv (Cornell University)|Apr 29, 2021

Online Learning and Analytics参考文献 18被引用 43

一句话总结

本文在 MIDFIELD 教育数据集上评估网格搜索和随机搜索用于自动超参数优化（HPO），覆盖多种传统 ML 模型，结果显示相较基线和人工调参具有一致的准确性提升。

ABSTRACT

Machine learning is a powerful method for modeling in different fields such as education. Its capability to accurately predict students' success makes it an ideal tool for decision-making tasks related to higher education. The accuracy of machine learning models depends on selecting the proper hyper-parameters. However, it is not an easy task because it requires time and expertise to tune the hyper-parameters to fit the machine learning model. In this paper, we examine the effectiveness of automated hyper-parameter tuning techniques to the realm of students' success. Therefore, we develop two automated Hyper-Parameter Optimization methods, namely grid search and random search, to assess and improve a previous study's performance. The experiment results show that applying random search and grid search on machine learning algorithms improves accuracy. We empirically show automated methods' superiority on real-world educational data (MIDFIELD) for tuning HPs of conventional machine learning classifiers. This work emphasizes the effectiveness of automated hyper-parameter optimization while applying machine learning in the education field to aid faculties, directors', or non-expert users' decisions to improve students' success.

研究动机与目标

• Motivate the use of automated hyper-parameter optimization (HPO) in educational data mining to improve predictive accuracy.
• Develop and apply two automated HPO methods (grid search and random search) to multiple ML algorithms.
• Assess whether automated HPO outperforms manual tuning and default parameters on a longitudinal education dataset.
• Demonstrate the impact of HPO on model selection and predictive performance for student graduationPrediction.

提出的方法

• 对 MIDFIELD 计算机相关专业数据进行数据预处理和特征工程。
• 使用网格搜索（GS）和随机搜索（RS）对七种机器学习模型（DT、RF、NB、LR、XGB、SVM、KNN）自动调参。
• 将 GS 和 RS 与基线（默认超参数）及前期工作进行比较；按准确性为每种方法选取最佳模型。
• 使用 3 折交叉验证，并报告准确性和调参时间。
• 定义 GS 的步长（连续值为 0.5，离散值为 1，RF/XGB 的 n_estimators 除外，步长为 5）。
• 提供伪代码（GRS-AutoHP），概述数据预处理、GS、RS 和模型选择的联合流程。

实验结果

研究问题

• RQ1 自动 HPO 方法 GS 和 RS 是否在多种 ML 模型中提升预测准确性，相对于基线/默认超参数？
• RQ2 在 MIDFIELD 数据集中，GS 与 RS 相对于人工调参以及彼此之间在预测计算机专业毕业方面的表现如何？
• RQ3 在这个教育纵向数据背景下，哪些模型最受益于自动 HPO？
• RQ4 在将 GS 和 RS 应用于大型教育数据集时，调参时间与准确性之间的权衡是什么？

主要发现

Classifier	Baseline	Work[5]	Work[5] Extended	GS	RS
NB	69.09	82.25	69.09	70.49	70.49
LR	82.92	83.18	82.92	83.89	83.86
KNN	79.66	75.38	81.43	84.89	84.89
SVM	84.45	85.27	85.06	87.99	87.43
DT	80.59	86.78	82.08	87.72	87.45
RF	85.24	88.27	85.30	88.34	88.37
XGB	85.16	74.58	85.16	88.33	88.80

• 自动 HPO 方法 GS 与 RS 提高 MIDFIELD 上所有七个 ML 模型的准确性。
• 在 HPO 下，XGBoost 与随机森林常常表现出色，相对于基线有显著提升。
• 相比手动调参，即使使用领域知识进行调参，自动 HPO 仍可带来更高的准确性。
• RF 和 XGB 在 GS/RS 下持续取得高准确性，超过默认基线。
• GS 与 RS 通常优于基线，且与或超过先前的手动调参结果。