[論文レビュー] Concentration inequalities of the cross-validation estimate for stable predictors

Matthieu Cornec|arXiv (Cornell University)|Nov 23, 2010

Fault Detection and Control Systems参考文献 38被引用数 4

ひとこと要約

本稿は、安定した予測子における汎化誤差の交差検証推定量の集中不等式を導出しており、k-NN やブースティング、ベイズ的手法などの一様安定なアルゴリズムでは、固定されたテストセットサイズであっても、1つを除いて交差検証（LOO）が一貫していることを示している。主な貢献は、アルゴリズムの安定性に基づく最適な交差検証設計を理論的に裏付けるフレームワークを提供することであり、推定誤差を最小化する明示的な分割ルールを導出している。

ABSTRACT

In this article, we derive concentration inequalities for the cross-validation estimate of the generalization error for stable predictors in the context of risk assessment. The notion of stability has been first introduced by \cite{DEWA79} and extended by \cite{KEA95}, \cite{BE01} and \cite{KUNIY02} to characterize class of predictors with infinite VC dimension. In particular, this covers $k$-nearest neighbors rules, bayesian algorithm (\cite{KEA95}), boosting,... General loss functions and class of predictors are considered. We use the formalism introduced by \cite{DUD03} to cover a large variety of cross-validation procedures including leave-one-out cross-validation, $k$-fold cross-validation, hold-out cross-validation (or split sample), and the leave-$\upsilon$-out cross-validation. In particular, we give a simple rule on how to choose the cross-validation, depending on the stability of the class of predictors. In the special case of uniform stability, an interesting consequence is that the number of elements in the test set is not required to grow to infinity for the consistency of the cross-validation procedure. In this special case, the particular interest of leave-one-out cross-validation is emphasized.

研究の動機と目的

• 安定した学習アルゴリズムにおける汎化誤差の交差検証推定量の有限標本における集中不等式を確立すること。
• k-NN のような無限VC次元を持つ予測子では従来のVC次元に基づく境界が失敗するという限界を扱うこと。
• アルゴリズムの安定性に基づいて交差検証手順（例：k-fold、LOO）を選択する理論的根拠を提供すること。
• 期待推定誤差を最小化するように最適なトレーニングセット・テストセットサイズの分割ルールを導出すること。
• 一様安定性が、テストセットサイズがnに従って増大しない場合でも、交差検証の一貫性を保証できることを示すこと。これは古典的な漸近的仮定に挑戦する。

提案手法

• [Dud03] の安定性フレームワークを用いて、1つを除いて交差検証（LOO）、k-fold、ホールドアウト、υ個を除いて交差検証（leave-υ-out）を含む、交差検証手順を形式化する。
• 弱安定性と強安定性の概念を導入：弱安定性 $(\lambda, (\delta_{n,p_n})_{n,p_n}, d)$ および強安定性 $(\lambda, (\delta_n)_n, d_\infty, \mathbb{Q})$ で、訓練セットの摂動に対する感度を測定する。
• 誤差 $|\widehat{R}_{CV} - \widetilde{R}_n|$ の確率的上界を導出し、バイアスとバイアスの2つの成分に分解：$B(n,p_n,\varepsilon)$ と $V(n,p_n,\varepsilon)$。これらはバイアスと分散を制御する。
• 一般補題を適用して期待値 $\mathbb{E}_{\mathcal{D}_n}|\widehat{R}_{CV} - \widetilde{R}_n|$ をバウンドし、安定性から導かれるサブガウス分布の尾部バウンドを用いる。
• 最適な分割ルールを導出：弱安定性では $p_n^\star = (1/\sqrt{2}4\lambda)^{2/3} n^{-1/3}$、強安定性では $p_n^\star = 1/n$ であり、期待誤差を最小化する。
• [Dud03] の形式的枠組みを用いて、多様な交差検証スキームにわたる分析を統一し、広範な適用可能性を実現する。

実験結果

リサーチクエスチョン

• RQ1 k-NN やブースティングのような無限VC次元を持つ予測子に対し、交差検証の集中不等式を導出できるか？
• RQ2 アルゴリズムの安定性は、交差検証推定量の一貫性および有限標本における挙動にどのように影響するか？
• RQ3 期待推定誤差を最小化するための最適なテストセットサイズの割合 $p_n$ は何か？
• RQ4 一様安定性が、テストセットサイズが $n$ に従って増大しない場合でも、交差検証の一貫性を保証できるか？
• RQ5 対称的交差検証手順（例：k-fold、LOO）とホールドアウト交差検証との間で、誤差バウンドおよび一貫性の観点からどのように比較できるか？

主な発見

• 弱安定予測子では、期待誤差 $\mathbb{E}_{\mathcal{D}_n}|\widehat{R}_{CV} - \widetilde{R}_n|$ は $4(\lambda/n)^{1/3}$ で有界であり、最適なテストセット割合は $p_n^\star = (1/\sqrt{2}4\lambda)^{2/3} n^{-1/3}$ である。
• 強安定予測子では、LOO交差検証を用いる場合、期待誤差は $O_n(\lambda / \sqrt{n})$ となる。最適な $p_n^\star = 1/n$ が得られる。
• 一様安定性により、テストセットサイズが無限大に増大しなくても、対称的交差検証（例：LOO、k-fold）の一貫性が保証される。
• ホールドアウト交差検証は、この固定テストセットサイズの一貫性の恩恵を受けることができないため、対称的手順の明確な利点が浮き彫りになる。
• 導出された分割ルール $p_n^\star$ は、誤差バウンドにおけるバイアス項と分散項のバランスをとり、全体の期待推定誤差を最小化する。
• 結果として、特に安定性が保証される場合には、対称的交差検証がホールドアウト交差検証を上回り、大規模データセットにおける誤差制御において優位であることが示された。