[論文レビュー] Theoretical analysis of cross-validation for estimating the risk of the k-Nearest Neighbor classifier

Alain Célisse, Tristan Mary‐Huard|arXiv (Cornell University)|Aug 20, 2015

Machine Learning and Algorithms参考文献 42被引用数 25

ひとこと要約

本稿は、k-最近傍（k-NN）分類器のリスクを推定するためのleave-$p$-out（L$p$O）交差検証に対して、理論的保証を提供する。U統計量の理論と一般化されたEfron-Stein不等式を活用することで、モーメントおよび指数的集中不等式を導出し、L$p$O推定量の一貫性と、$n$、$k$、$p$ に関する収束速度を確立するとともに、真のリスクからの乖離を定量化する。

ABSTRACT

The present work aims at deriving theoretical guaranties on the behavior of some cross-validation procedures applied to the $k$-nearest neighbors ($k$NN) rule in the context of binary classification. Here we focus on the leave-$p$-out cross-validation (L$p$O) used to assess the performance of the $k$NN classifier. Remarkably this L$p$O estimator can be efficiently computed in this context using closed-form formulas derived by \\cite{CelisseMaryHuard11}. We describe a general strategy to derive moment and exponential concentration inequalities for the L$p$O estimator applied to the $k$NN classifier. Such results are obtained first by exploiting the connection between the L$p$O estimator and U-statistics, and second by making an intensive use of the generalized Efron-Stein inequality applied to the L$1$O estimator. One other important contribution is made by deriving new quantifications of the discrepancy between the L$p$O estimator and the classification error/risk of the $k$NN classifier. The optimality of these bounds is discussed by means of several lower bounds as well as simulation experiments.

研究の動機と目的

• leave-$p$-out（L$p$O）交差検証の$k$-NN分類器における挙動に関する分布フリーな理論的保証を提供すること。
• 二値$k$-NN分類に適用されたL$p$O推定量のモーメントおよび指数的集中不等式を導出すること。
• L$p$O推定量と$k$-NNルールの真の分類リスクとの乖離を定量化すること。
• $n$、$k$、および$p/n$ に関するL$p$O推定量の収束速度を分析すること。
• 下界とシミュレーション実験を通じて、導出された不等式の最適性を確立すること。

提案手法

• L$p$O推定量をU統計量に結びつける理論的分析により、既知のモーメント不等式を活用する。
• leave-one-out（L1O）の場合に一般化されたEfron-Stein不等式を適用し、集中不等式を導出する。
• Rosenthal型不等式を用いて、$k$-NN分類におけるL$p$O推定量のモーメントを評価する。
• CelisseとMary-Huard（2011）が導出した$k$-NNにおけるL$p$Oの閉形式表現を用い、計算の効率化と理論的分析を可能にする。
• 確率的不等式と漸近的近似を用いて、L$p$Oと真のリスクとの乖離を定量化する。
• 理論的結果は下界とシミュレーション実験により検証され、不等式のタイトさと最適性が評価される。

実験結果

リサーチクエスチョン

• RQ1 適切な$p(n)$の選択のもとで、L$p$O推定量は$k$-NN分類器の真のリスクを一貫して推定できるか？
• RQ2 L$p$O推定量の収束速度は$p/n$および$k$に関してどのように変化するか？
• RQ3 有限標本条件下で、L$p$O推定量の分散とバイアスは真のリスクとどのように比較できるか？
• RQ4 L$p$O推定量と真のリスクとの乖離は、高い確率で定量化可能か？
• RQ5 導出された集中不等式およびモーメント不等式は、下界とシミュレーションによって最適性が確認できるか？

主な発見

• L$p$O推定量は、U統計量と一般化されたEfron-Stein不等式を用いて導出されたモーメントおよび指数的集中不等式を満たす。
• L$p$O推定量の真のリスクへの収束速度が明示され、$n$、$k$、および$p/n$ に依存することが示された。
• L$p$O推定量と真の分類リスクとの乖離は、高い確率で有界であり、下界によりその最適性が示された。
• 導出された集中不等式はタイトであり、シミュレーション実験により理論的不等式の正確性が確認された。
• 適切な$p(n)$の選択（例：$p = \lfloor n/V \rfloor$ かつ $V \approx n/p$）のもとで、L$p$O推定量は$k$-NNリスクの一貫した推定量であることが示された。
• 理論的枠組みにより、L$p$Oが$k$-NNにおいて$V$-fold交差検証よりも分散が小さく、理論的保証が強いことから、その使用が正当化される。