[論文レビュー] Constructing Confidence Intervals for 'the' Generalization Error -- a Comprehensive Benchmark Study

Hannah Schulz-Kümpel, Sebastian Fischer+4 more|arXiv (Cornell University)|Sep 27, 2024

Scientific Measurement and Uncertainty EvaluationDecision Sciences被引用数 3

ひとこと要約

本稿では、機械学習における一般化誤差の信頼区間（CI）を構築するための13種類のモデルに依存しない手法について、4つの学習アルゴリズムと8つの損失関数を用いて18個の表形式データセットを対象に包括的なベンチマークを提示する。カバレッジ頻度、幅、実行時間の評価を行い、小規模データ（n ≤ 100）に対しては25回の外側繰り返しとK=5を用いたネストドクロスバリデーション、大規模データに対しては比0.9と25回の繰り返しを用いた補正済みリサンプリングt法を推奨する。

ABSTRACT

When assessing the quality of prediction models in machine learning, confidence intervals (CIs) for the generalization error, which measures predictive performance, are a crucial tool. Luckily, there exist many methods for computing such CIs and new promising approaches are continuously being proposed. Typically, these methods combine various resampling procedures, most popular among them cross-validation and bootstrapping, with different variance estimation techniques. Unfortunately, however, there is currently no consensus on when any of these combinations may be most reliably employed and how they generally compare. In this work, we conduct a large-scale study comparing CIs for the generalization error, the first one of such size, where we empirically evaluate 13 different CI methods on a total of 19 tabular regression and classification problems, using seven different inducers and a total of eight loss functions. We give an overview of the methodological foundations and inherent challenges of constructing CIs for the generalization error and provide a concise review of all 13 methods in a unified framework. Finally, the CI methods are evaluated in terms of their relative coverage frequency, width, and runtime. Based on these findings, we can identify a subset of methods that we would recommend. We also publish the datasets as a benchmarking suite on OpenML and our code on GitHub to serve as a basis for further studies.

研究の動機と目的

• 機械学習における一般化誤差の信頼区間（CI）を信頼性高く得るためのリサンプリングおよび分散推定手法について、まだ合意が得られていない現状に対処すること。
• 多様な表形式の回帰および分類問題をカバーする大規模なベンチマークを用いて、13種類の既存のモデルに依存しないCI構築手法を実験的に比較すること。
• これらの手法の性能を、カバレッジ頻度、CIの幅、計算コスト、およびデータサイズ、モデル、損失関数の違いに応じた安定性という観点から評価すること。
• 実験結果に基づいた実務家向けの具体的な推奨事項を提供すること。これには、OpenMLおよびGitHubに公開されたオープンソースコードとデータセットを含む。
• 標準化されたベンチマークスイートの提供と、理論的分析に加えて実験的検証の重要性の強調を通じて、今後の手法論的評価の基盤を築くこと。

提案手法

• 本研究では、一般化誤差の信頼区間を構築するための13種類の既存のモデルに依存しない手法を評価する。これらには、クロスバリデーション、ブートストラップ、分散推定技術の変種が含まれる。
• 各手法は、リサンプリング手順（例：K分割交差検証、繰り返し交差検証、ブートストラップ）と、異なる分散推定戦略（例：ジャックナイフ、分散比、t統計量補正）を組み合わせている。
• ベンチマークには18個の表形式データセットが使用され、そのうち17個は本研究のために特に生成されたものである。4つの教師あり学習アルゴリズム（インダクター）と8つの損失関数が、分類および回帰の両タスクにわたってカバーされている。
• 性能は、主に3つの指標で評価される：相対的カバレッジ頻度（真の一般化誤差がCI内に入る頻度）、平均幅（精度）、実行時間（計算コスト）。
• 本研究では、13の手法を一貫して記述・比較できる統一されたフレームワークを採用しており、多様なアプローチ間での一貫性ある評価と解釈を可能にしている。
• すべてのデータセットはOpenMLに公開され、コードはGitHubにリリースされており、再現性および今後のベンチマーク作成を支援している。

実験結果

リサーチクエスチョン

• RQ1 どのリサンプリング手法と分散推定戦略の組み合わせが、一般化誤差の信頼区間に対して最も信頼性の高いカバレッジ頻度を達成するか？
• RQ2 各手法における信頼区間の幅はどのように変動するか。カバレッジの正確さと精度のトレードオフはどのようなものか？
• RQ3 各手法の計算コストはどの程度で、データサイズおよびモデルの複雑さに伴ってどのように変化するか？
• RQ4 小規模データ（n ≤ 100）と大規模データ（n > 100）の間で、各手法の性能特性はどのように異なるか？
• RQ5 どのような手法が、多様なデータ生成プロセス、学習アルゴリズム、損失関数に対して、強靭性と安定性を示すか？

主な発見

• 小規模データ（n ≤ 100）では、少なくとも25回の外側繰り返しとK=5を用いたネストドクロスバリデーション、または25回の外側繰り返しとK≥10を用いたコスエイティブ・Z法が、許容可能な幅とともに最も信頼性の高いカバレッジを提供する。
• 大規模データでは、比0.9と少なくとも25回の繰り返しを用いた補正済みリサンプリングt法が、カバレッジの正確さと幅のバランスが最も優れている。
• やや広いCIを受け入れられる場合、大規模データに対してはネストドクロスバリデーション（3回の外側繰り返しとK=5）またはコスエイティブ・Z法（10回の外側繰り返しとK=5）も推奨される。
• 本研究では、カバレッジ頻度が手法の設定に極めて敏感であることが判明しており、データサイズやモデルタイプに応じて、一部の手法では顕著な過剰カバレッジまたは不足カバレッジが見られた。
• 計算コストは大きくばらつきを示しており、繰り返しモデル適合を伴う手法（例：繰り返し交差検証）は、単一パスまたは分散推定に基づくアプローチよりも著しく遅い。
• ベンチマークでは、すべての指標において常に優れた結果を示す唯一の手法は存在しないが、カバレッジと幅のバランスにおいて、複数の手法が一貫して上位にランクインしている。