[論文レビュー] Don't Waste Your Time: Early Stopping Cross-Validation

Edward M. Bergman, Lennart Purucker+1 more|arXiv (Cornell University)|May 6, 2024

Machine Learning and Data Classification被引用数 4

ひとこと要約

本稿では、自動機械学習（AutoML）におけるk-fold交差検証のための単純な早期停止戦略を提案する。この戦略では、ある設定が現在の最良設定を下回る場合、最初のfoldで検証を中止する。この方法により、モデル選択の収束が平均214%速くなり、1時間以内に167%多くの設定を評価可能となり、MLPおよびランダムフォレストモデルを用いた36個の表形式データセットにおいて、3-, 5-, 10-fold交差検証で全体的な性能が向上する。

ABSTRACT

State-of-the-art automated machine learning systems for tabular data often employ cross-validation; ensuring that measured performances generalize to unseen data, or that subsequent ensembling does not overfit. However, using k-fold cross-validation instead of holdout validation drastically increases the computational cost of validating a single configuration. While ensuring better generalization and, by extension, better performance, the additional cost is often prohibitive for effective model selection within a time budget. We aim to make model selection with cross-validation more effective. Therefore, we study early stopping the process of cross-validation during model selection. We investigate the impact of early stopping on random search for two algorithms, MLP and random forest, across 36 classification datasets. We further analyze the impact of the number of folds by considering 3-, 5-, and 10-folds. In addition, we investigate the impact of early stopping with Bayesian optimization instead of random search and also repeated cross-validation. Our exploratory study shows that even a simple-to-understand and easy-to-implement method consistently allows model selection to converge faster; in ~94% of all datasets, on average by ~214%. Moreover, stopping cross-validation enables model selection to explore the search space more exhaustively by considering +167% configurations on average within one hour, while also obtaining better overall performance.

研究の動機と目的

• 時間予算内での網羅的ハイパーパrameterサーチが制限される、AutoMLにおけるk-fold交差検証の高い計算コストに対処すること。
• 交差検証中に早期停止を行うことで、性能を損なわずモデル選択を高速化できるかどうかを調査すること。
• 複雑なハイパーパrameterや設定の一時停止を回避する、簡単で実装しやすい早期停止戦略を評価すること。
• たとえ基本的な早期停止手法であっても、AutoMLワークフローにおける効率性と有効性を顕著に向上させられることを示すこと。

提案手法

• 著者らは2つの単純な早期停止ルールを実装した：「攻撃的」（最良設定を下回る場合、最初のfoldで停止）と「寛容的」（最良設定を閾値以上下回る場合、最初のfoldで停止）。
• これらの手法は、AutoMLベンチマークの36個の分類データセットを用いたMLPおよびランダムフォレストモデルにおけるランダムサーチおよびベイズ最適化に適用された。
• 交差検証は3-, 5-, 10-fold分割で実施され、10回繰り返しの交差検証についても評価された。
• 早期停止の性能は、固定された1時間の時間予算内で、早期停止なしの標準的交差検証と比較された。
• この手法は設定の一時停止を避け、複雑な統計的検定やハイパーハイパーパrameterを必要とせず、実装の障壁を最小限に抑えた。
• 実験は再現可能であり、GitHubに完全なコード、ドキュメンテーション、および原始結果が公開されている。

Figure 1: Speedup Overview Per Dataset for MLP with 10 folds: The time point of matching the best performance of No ES for each method per dataset. A marker indicates when a method reached the same or better performance than No ES . The solid black line visualizes the time saved by the fastest early

実験結果

リサーチクエスチョン

• RQ1 k-fold交差検証中に早期停止を行うことで、AutoMLのモデル選択における収束までの時間が顕著に短縮されるか？
• RQ2 早期停止により、固定時間予算内でのハイパーパrameter探索空間の広範な探索が可能になるか？
• RQ3 完全な交差検証と比較して、早期停止は最終的なモデル性能にどのような影響を与えるか？
• RQ4 fold数（3, 5, 10）の違いが、早期停止の利点にどのように影響するか？
• RQ5 簡単で実装しやすい早期停止ルールが、実際の現場で標準的交差検証を上回る性能を発揮できるか？

主な発見

• 36個のデータセットの約94%において、早期停止によりモデル選択が完全な交差検証と比較して平均214%速くなった。
• 1時間の時間予算内では、早期停止により標準的交差検証と比較して平均167%多くのハイパーパrameter設定が評価可能となった。
• この手法は一貫して最終的なモデル性能を向上させ、検証コストを削減しても一般化性能が損なわれないことを示している。
• 異なるアルゴリズム（MLPおよびランダムフォレスト）、fold数（3, 5, 10）、最適化戦略（ランダムサーチおよびベイズ最適化）のすべてにおいて、利点が確認された。
• 「攻撃的」と「寛容的」の両方の早期停止ルールが、実装が容易で、最小限のオーバーヘッドで効果的であり、複雑な統計的検定や設定の一時停止を必要としなかった。
• 本研究では、すべてのデータセット、手法、設定を網羅的に実行するにあたり、合計で約6.15 CPU年、10%のオーバーヘッドを要する計算コストが推定された。

Figure 2: Footprint Plot for OpenML Task ID 168350 on outer fold 7: A configuration footprint, that is, a multi-dimensional scaling (MDS) embedding of the high dimensional search space for MLP to a 2-dimensional one, showing the landscape of evaluated configurations that were either evaluated (big m