[論文レビュー] Cross-validation Confidence Intervals for Test Error

Pierre Bayle, Alexandre Bayle+2 more|arXiv (Cornell University)|Jul 24, 2020

Machine Learning and Algorithms被引用数 3

ひとこと要約

本稿は、k-foldおよびleave-one-out交差検証における中心極限定理を確立し、テスト誤差の漸近的に正確な信頼区間の構築と、学習アルゴリズムを比較するための妥当な仮説検定を可能にする。弱い安定性条件の下で、一貫した分散推定器を提供し、leave-one-out交差検証における初めてのこのようなフレームワークを提供するとともに、実データの実験で既存の手法を上回る性能を示す。

ABSTRACT

This work develops central limit theorems for cross-validation and consistent estimators of its asymptotic variance under weak stability conditions on the learning algorithm. Together, these results provide practical, asymptotically-exact confidence intervals for k-fold test error and valid, powerful hypothesis tests of whether one learning algorithm has smaller k-fold test error than another. These results are also the first of their kind for the popular choice of leave-one-out cross-validation. In our real-data experiments with diverse learning algorithms, the resulting intervals and tests outperform the most popular alternative methods from the literature.

研究の動機と目的

• k-thenとleave-one-out交差検証のテスト誤差に対する漸近的に有効な信頼区間の開発。
• 学習アルゴリズムの弱い安定性条件下での交差検証における中心極限定理の確立。
• 交差検証推定量の漸近的分散の一貫した推定器の提供。
• 2つの学習アルゴリズムのテスト誤差を比較するための妥当で力の強い仮説検定の実現。
• leave-one-out交差検証における漸近的に正確な推論のための最初のフレームワークの提供。

提案手法

• 学習アルゴリズムの弱い安定性条件の下で、k-then交差検証における中心極限定理を導出する。
• 交差検証のテスト誤差推定量の漸近的分散の一貫した推定器を提案する。
• デルタ法と弱い依存性仮定を用いて、交差検証統計量の漸近正規性を正当化する。
• 実用的なテスト誤差の信頼区間の構築を可能にする分散推定器を導入する。
• 従来、理論的推論支援が欠けていたleave-one-out交差検証へとフレームワークを拡張する。
• 多様な学習アルゴリズムとデータセットを用いた実データ実験を通じて、手法の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 弱い安定性条件の下で、k-then交差検証のテスト誤差に対して漸近的に正確な信頼区間を構築できるか？
• RQ2 一般の学習アルゴリズムに対して、交差検証の漸近的分散の一貫した推定器を導出できるか？
• RQ3 提案されたフレームワークは、従来、理論的推論ツールが欠けていたleave-one-out交差検証に対しても適用可能で妥当か？
• RQ4 得られた信頼区間と仮説検定は、既存の手法と比較して、カバレッジとパワーの面でどのように異なるか？
• RQ5 実際の応用において、2つの学習アルゴリズム間のテスト誤差の差を信頼性を持って検出できるか？

主な発見

• 提案手法は、弱い安定性条件の下で、k-then交差検証のテスト誤差に対して漸近的に正確な信頼区間を提供する。
• 交差検証の漸近的分散の一貫した推定器が導出され、実用的な推論が可能になる。
• 本フレームワークは、leave-one-out交差検証における漸近的に妥当な推論を提供する最初のものである。
• 実データ実験では、提案された信頼区間と仮説検定が、既存の手法をカバレッジとパワーの両面で上回ることが示された。
• 本手法は、多様な学習アルゴリズムとデータセットにおいても強固な性能を維持し、その一般性と耐障害性を確認した。