[論文レビュー] Recommending Training Set Sizes for Classification

Phillip Koshute, Jared Zook+1 more|arXiv (Cornell University)|Feb 16, 2021

Machine Learning in Healthcare参考文献 15被引用数 6

ひとこと要約

この論文は、20のベンチマークデータセットを用いて5つの分類手法を分析することで、バイナリ分類およびマルチクラス分類タスクにおける最適なトレーニングセットサイズを提案する。データセットのクラス数と特徴量数に基づき、コストを最小限に抑えつつモデル性能を確保するための、データ駆動型の範囲（3,000〜30,000サンプル）を提示する。学習曲線解析と収束に基づく十分なトレーニングセットサイズ（STSS）推定を用いる。

ABSTRACT

Based on a comprehensive study of 20 established data sets, we recommend training set sizes for any classification data set. We obtain our recommendations by systematically withholding training data and developing models through five different classification methods for each resulting training set. Based on these results, we construct accuracy confidence intervals for each training set size and fit the lower bounds to inverse power low learning curves. We also estimate a sufficient training set size (STSS) for each data set based on established convergence criteria. We compare STSS to the data sets' characteristics; based on identified trends, we recommend training set sizes between 3000 and 30000 data points, according to a data set's number of classes and number of features. Because obtaining and preparing training data has non-negligible costs that are proportional to data set size, these results afford the potential opportunity for substantial savings for predictive modeling efforts.

研究の動機と目的

• 分類タスクにおけるモデル性能とデータ収集コストのバランスをとる最適なトレーニングセットサイズを特定すること。
• データセットの特徴（クラス数と特徴量数）と効果的なトレーニングセットサイズとの間の傾向を特定すること。
• 多様な分類問題に応用可能な実用的でデータ駆動型のトレーニングセットサイズ選択の推奨を提供すること。
• 学習曲線の挙動に基づく収束基準を用いて、十分なトレーニングセットサイズ（STSS）を推定すること。
• データ収集および前処理のコストを削減するため、最小限ながら効果的なトレーニングセットサイズを推奨すること。

提案手法

• 20のベンチマークデータセットからトレーニングデータを体系的に除外し、複数のトレーニングセットサイズを生成する。
• 各縮小されたトレーニングセットに対して5つの異なる分類モデルを訓練し、サイズごとの性能を評価する。
• 各トレーニングセットサイズについて、精度の信頼区間を構築し、不確実性を定量化する。
• これらの信頼区間の下限を逆べき乗法則の学習曲線にフィットさせ、性能の低下をモデル化する。
• 学習曲線の挙動に基づく収束閾値を用いて、十分なトレーニングセットサイズ（STSS）を推定する。
• STSSとデータセットの特徴（クラス数と特徴量数）を相関させ、一般化可能な推奨を導出する。

実験結果

リサーチクエスチョン

• RQ1 どのようなトレーニングセットサイズが、多様な分類データセットにおいて安定的かつ高いモデル精度を保証するか？
• RQ2 データセットのクラス数と特徴量数は、必要なトレーニングセットサイズにどのように影響するか？
• RQ3 複数のアルゴリズムにわたるモデル性能の収束を達成する最小のトレーニングセットサイズは何か？
• RQ4 学習曲線の挙動をどのようにモデル化すれば、最適なトレーニングセットサイズを予測できるか？
• RQ5 データセットの特徴に基づいてトレーニングセットサイズを選択することで、どの程度データ収集コストを削減できるか？

主な発見

• 本研究は、クラス数と特徴量数に応じて、3,000〜30,000データポイントのトレーニングセットサイズを推奨する。
• クラス数が多いか、特徴量が多いデータセットは、最適な性能を達成するためにはより大きなトレーニングセットを必要とする傾向にある。
• 十分なトレーニングセットサイズ（STSS）は、20のすべてのデータセットで収束基準に基づいて一貫して推定された。
• 精度の信頼区間の下限を逆べき乗法則にフィットさせることで、さまざまなトレーニングセットサイズにおける性能予測に有効な手法が得られた。
• 特定のトレーニングセットサイズを超えると、モデル性能が安定化し、より大きなデータセットではリターンが減少することが示された。
• 提案された推奨事項により、モデル精度を損なわず、データ収集および前処理のコストを大幅に削減できる。