[論文レビュー] Bootstrapping the Cross-Validation Estimate

Bryan Cai, Luo, Yuanhui+7 more|arXiv (Cornell University)|Jul 1, 2023

Forecasting Techniques and Applications被引用数 4

ひとこと要約

本稿では、予測モデルにおける交差検証の性能推定値の標準誤差を推定し、有効な信頼区間を構築するための高速で計算的に効率的なブートストラップ法を提案する。ランダム効果フレームワーク内で分散成分をモデル化することにより、従来の計算上のボトルネックを克服しながら、多様なモデルや性能指標においても柔軟性を維持する。

ABSTRACT

Cross-validation is a widely used technique for evaluating the performance of prediction models, ranging from simple binary classification to complex precision medicine strategies. It helps correct for optimism bias in error estimates, which can be significant for models built using complex statistical learning algorithms. However, since the cross-validation estimate is a random value dependent on observed data, it is essential to accurately quantify the uncertainty associated with the estimate. This is especially important when comparing the performance of two models using cross-validation, as one must determine whether differences in estimated error are due to chance. Although various methods have been developed to make inferences on cross-validation estimates, they often have many limitations, such as requiring stringent model assumptions. This paper proposes a fast bootstrap method that quickly estimates the standard error of the cross-validation estimate and produces valid confidence intervals for a population parameter measuring average model performance. Our method overcomes the computational challenges inherent in bootstrapping a cross-validation estimate by estimating the variance component within a random-effects model. It is also as flexible as the cross-validation procedure itself. To showcase the effectiveness of our approach, we conducted comprehensive simulations and real-data analysis across two applications.

研究の動機と目的

• 交差検証推定値には固有のランダム性と標本変動性があるため、それらに対する信頼できる不確実性の定量化が不十分であるという問題に取り組む。
• 特に高次元または複雑なモデル設定において、交差検証をそのままブートストラップする場合の高い計算コストを克服する。
• 幅広い予測モデルおよび性能指標に適用可能な、計算的に効率的かつ統計的に妥当な手法を開発する。
• 特にモデルの信頼性が重要な医療分野において、適切な信頼区間を伴ったモデル性能の比較に実用的な解決策を提供する。
• 特にlasso正則化ロジスティック回帰のような高次元モデルにおいて、理論的漸近的妥当性と有限標本における実効的性能のギャップを埋める。

提案手法

• 交差検証推定値を階層的構造を持つランダム効果としてモデル化し、全分散をデータ分割とモデル学習に起因する成分に分解する。
• ランダム効果モデルにおける分散成分を推定することで、全交差検証プロセスの繰り返しリサンプリングを伴わずに、交差検証推定子の標本分布を近似する。
• パラメトリックブートストラップフレームワークを用い、仮定されたランダム効果構造を活用して、交差検証推定値の分布を効率的にシミュレートする。
• モデルに依存しない設計となっており、任意の性能指標（例：平均絶対誤差、c-index、個別化された治療反応スコア）および任意の学習アルゴリズムに適用可能である。
• 損失関数の線形化を用いて、トレーニングセット選択および予測誤差推定への影響を近似することで、標準誤差の一貫性のある推定子を導出する。
• データ分割のランダムネスとモデルパラメータ推定のばらつきの両方を考慮することで、有効な信頼区間を保証する。

実験結果

リサーチクエスチョン

• RQ1 交差検証性能推定値の標準誤差を、全交差検証プロセスの繰り返しリサンプリングを伴わず、著しく高い計算コストを伴わずに効率的に推定する方法は何か？
• RQ2 高次元モデルにおいて、交差検証に対するブートストラップに基づく推論手順を、有限標本において高速かつ統計的に妥当にできるか？
• RQ3 提案手法が、多様な性能指標およびモデルタイプにおいて、正しい被覆確率を持つ信頼区間を維持する程度はどの程度か？
• RQ4 精度および計算効率の観点から、従来の漸近的手法およびネストドクロスバリデーション手法と比較して、本手法はどのように性能を示すか？
• RQ5 交差検証推定値のブートストラップ信頼区間が、真の母集団性能パrameterと意味的に整合する条件は何か？

主な発見

• 提案手法は、全交差検証プロセスのナイーブブートストラップリサンプリングと比較して、著しく低い計算コストで正確な標準誤差推定を達成する。
• シミュレーションおよび実データ解析の両方で、中程度の標本サイズおよび高次元設定でも、ブートストラップ信頼区間が適切な被覆水準を維持することが示された。
• 高次元共変量を有するlasso正則化ロジスティック回帰において、現在の漸近的枠組み下では理論的根拠が欠如しているにもかかわらず、本手法のブートストラップに基づく区間は良好な実効的被覆を示した。
• 平均絶対予測誤差、c-index、個別化された治療反応スコアなど、多様な性能指標において本手法が良好に機能した。
• モデルの複雑さおよびデータ次元数に対して頑健であり、真の誤差分散が交差検証推定子の標本分散と同等に近い場合でも、被覆性質が安定したままであった。
• ネストドクロスバリデーションの実用的代替手段として優れた性能を示し、著しく低い計算オーバーヘッドで同程度の推論的妥当性を達成した。