[論文レビュー] Search Algorithms for Automated Hyper-Parameter Tuning

Leila Zahedi, Farid Ghareh Mohammadi+3 more|arXiv (Cornell University)|Apr 29, 2021

Online Learning and Analytics参考文献 18被引用数 43

ひとこと要約

本論文はMIDFIELD教育データセットに対して複数の従来型MLモデルで自動ハイパーパラメータ最適化(HPO)のグリッドサーチとランダムサーチを評価し、ベースラインと手動チューニングに対して一貫した精度向上を示す。

ABSTRACT

Machine learning is a powerful method for modeling in different fields such as education. Its capability to accurately predict students' success makes it an ideal tool for decision-making tasks related to higher education. The accuracy of machine learning models depends on selecting the proper hyper-parameters. However, it is not an easy task because it requires time and expertise to tune the hyper-parameters to fit the machine learning model. In this paper, we examine the effectiveness of automated hyper-parameter tuning techniques to the realm of students' success. Therefore, we develop two automated Hyper-Parameter Optimization methods, namely grid search and random search, to assess and improve a previous study's performance. The experiment results show that applying random search and grid search on machine learning algorithms improves accuracy. We empirically show automated methods' superiority on real-world educational data (MIDFIELD) for tuning HPs of conventional machine learning classifiers. This work emphasizes the effectiveness of automated hyper-parameter optimization while applying machine learning in the education field to aid faculties, directors', or non-expert users' decisions to improve students' success.

研究の動機と目的

• 教育データマイニングにおける自動ハイパーパラメータ最適化(HPO)の有用性を動機づけ、予測精度を改善する。
• 複数のMLアルゴリズムに対して2つの自動HPO手法（グリッドサーチとランダムサーチ）を開発・適用する。
• 教育データを長期にわたって扱うデータセットで自動HPOが手動調整とデフォルトパラメータを上回るかを評価する。
• HPOが学生の卒業Predictionにおけるモデル選択と予測性能に与える影響を示す。

提案手法

• MIDFIELDのコンピューティング専攻データに対してデータ前処理と特徴量エンジニアリングを適用する。
• 7つのMLモデル（DT, RF, NB, LR, XGB, SVM, KNN）のハイパーパラメータをGrid Search (GS)とRandom Search (RS)を用いて自動調整する。
• GSとRSをベースライン（デフォルトHPs）および先行研究と比較し、精度で各手法の最良モデルを選択する。
• 3-foldクロスバリデーションを用い、精度と調整時間を報告する。
• GSのステップサイズを定義する（連続値は0.5、離散値は1、RF/XGBのn_estimatorsを除きステップは5）。
• 前処理、GS、RS、モデル選択の結合プロセスを概説する疑似コード（GRS-AutoHP）を提供する。

実験結果

リサーチクエスチョン

• RQ1 自動HPO手法GSとRSは複数のMLモデルで基準値/デフォルトハイパーパラメータより予測精度を改善するか？
• RQ2 MIDFIELDデータセットでGSとRSは卒業予測（computing majors）において手動調整と互いにどう比較されるか？
• RQ3 この教育的縦断文脈で自動HPOから最も恩恵を受けるモデルはどれか？
• RQ4 大規模な教育データセットにGSとRSを適用する際の調整時間と精度のトレードオフは何か？

主な発見

分類器	ベースライン	Work[5]	Work[5] Extended	GS	RS
NB	69.09	82.25	69.09	70.49	70.49
LR	82.92	83.18	82.92	83.89	83.86
KNN	79.66	75.38	81.43	84.89	84.89
SVM	84.45	85.27	85.06	87.99	87.43
DT	80.59	86.78	82.08	87.72	87.45
RF	85.24	88.27	85.30	88.34	88.37
XGB	85.16	74.58	85.16	88.33	88.80

• 自動HPO手法GSとRSはMIDFIELDの7つのモデル全てで精度を向上させる。
• XGBoostとRandom ForestはHPOの下で強力なパフォーマーとしてしばしば現れ、ベースラインより顕著な向上。
• 手動調整と比較して、自動HPOはドメイン知識を用いた調整の場合でもより高い精度をもたらす。
• RFとXGBはGS/RSの下で一貫して高い精度を達成し、デフォルトのベースラインを上回る。
• GSとRSは一般にベースラインを上回り、以前の手動調整の結果と同等かそれ以上に適合する。