[論文レビュー] Hyperparameter Importance for Machine Learning Algorithms

Honghe Jin|arXiv (Cornell University)|Jan 13, 2022

Machine Learning and Data Classification被引用数 11

ひとこと要約

本稿では、大規模データセットにおける効率的でスケーラブルなチューニングを可能にするために、部分抽出を用いて推定する、モデルリスクの分散に基づくデータ駆動型ハイパーパrameter重要度定義を提案する。この手法は、完全グリッドサーチと比較して90%以上の計算コスト削減を達成しつつ、XGBoostおよびGBMを用いた実世界のクレジット詐欺およびデフォルトデータセットを用いた検証で一貫性のある重要度順序付けを実現した。

ABSTRACT

Hyperparameter plays an essential role in the fitting of supervised machine learning algorithms. However, it is computationally expensive to tune all the tunable hyperparameters simultaneously especially for large data sets. In this paper, we give a definition of hyperparameter importance that can be estimated by subsampling procedures. According to the importance, hyperparameters can then be tuned on the entire data set more efficiently. We show theoretically that the proposed importance on subsets of data is consistent with the one on the population data under weak conditions. Numerical experiments show that the proposed importance is consistent and can save a lot of computational resources.

研究の動機と目的

• 大規模データセットにおける完全ハイパーパrameterチューニングの計算的非現実性に対処し、チューニングに最も影響を与えるハイパーパrameterを同定すること。
• 実際のモデル感度に反映される、データ依存的で汎用的なハイパーパrameter重要度の定義を構築すること。
• 小さなデータサブセットからの推定重要度に基づいてハイパーパrameterを順序付けし、効率的な逐次ハイパーパrameterチューニングを可能にすること。
• サブサンプルと全集団データの両方において、重要度推定の理論的整合性を保証すること。
• 機械学習パイプラインにおけるヒューリスティック的または経験依存のハイパーパrameter選択の実証的で客観的な代替手段を提供すること。

提案手法

• 与えられたデータサブセット上で、ハイパーパrameterの異なる値におけるモデルリスク（例：AUCまたは損失）の分散としてハイパーパrameter重要度を定義する。
• 部分抽出による重要度推定：全データセットから複数の小さなランダムサブセットを抽出し、各ハイパーパrameterについてリスクの分散を計算する。
• ハイパーパrameterの値ごとのリスク分散の経験的分散を、重要度の代理指標として用いる。分散が大きいほど、モデル性能に与える影響が大きいことを示す。
• 理論的整合性の証明：弱い正則性条件下で、サブサンプル上の推定重要度が全集団データ上の真の重要度に収束することを示す。
• 逐次チューニングフレームワークへの適用：最も重要なハイパーパrameterを最初にチューニングする。
• グリッドサーチをサブサンプル上で実行して重要度を推定し、その後、全データセット上で上位ランクのハイパーパrameterのみを完全チューニングする。

実験結果

リサーチクエスチョン

• RQ1 小さなデータサブセットからのハイパーパrameter重要度は一貫して推定可能であり、大規模データセットにおける効率的チューニングを支援できるか？
• RQ2 提案手法の部分抽出ベースの重要度測定は、完全グリッドサーチと比較して計算効率とモデル性能の点でどのように異なるか？
• RQ3 ハイパーパrameter値ごとのリスク分散は、ハイパーパrameterの影響を信頼性があり理論的に整合性のある指標として機能するか？
• RQ4 提案手法は、実世界の機械学習応用において、計算コストをどの程度削減しつつ、モデル精度を維持できるか？
• RQ5 この手法は、ヒューリスティック的または経験に基づく選択を置き換える、客観的でデータ駆動型のハイパーパrameterチューニング選択の根拠を提供できるか？

主な発見

• リスク分散に基づく提案されたハイパーパrameter重要度測定は、サブサンプルと全集団データの両方において理論的に整合的である。
• 150万件のクレジットカード詐欺データセットにおいて、本手法はハイパーパラメータチューニング時間を90%以上短縮（697.12分対5.36分）し、AUCはほぼ同一（0.8713 対 0.8711）を達成した。
• 5000万件の大型クレジットデフォルトデータセットでは、0.5%、1%、2%の部分抽出率で得られたハイパーパラメータ重要度順位が同一であり、実証的整合性を示した。
• AUC分布の可視化分析により、Max DepthとStep Sizeは高い影響（AUCの分散が大きい）を示した一方、Max Binsはほとんど影響がなかった。これは、本手法が情報のないハイパーパラメータを特定できる能力を有することを検証した。
• 本手法により、Max Depth、Step Size、Max Iterationの上位3つのハイパーパラメータに限定して逐次チューニングを実施でき、モデル性能に影響を与えることなく計算負荷を大幅に削減した。
• 重要度推定自体に24.21分を要したが、全データセットにおける完全グリッドサーチを回避できたことから、全体の時間的コスト削減は顕著であり、本手法のビッグデータへのスケーラビリティを裏付けた。