[논문 리뷰] Theoretical analysis of cross-validation for estimating the risk of the k-Nearest Neighbor classifier

Alain Célisse, Tristan Mary‐Huard|arXiv (Cornell University)|2015. 08. 20.

Machine Learning and Algorithms참고 문헌 42인용 수 25

한 줄 요약

이 논문은 k-최근접 이웃(k-NN) 분류기의 위험을 추정하는 데 있어 이류-$p$-아웃 교차검증(L$p$O)에 대한 이론적 보장을 제공한다. U-통계량 이론과 일반화된 Efron-Stein 부등식을 활용하여 모멘트 및 지수 농도 집중 경계를 유도함으로써, L$p$O 추정량의 일致성과 $n$, $k$, $p$에 대한 수렴 속도를 확립하며, 진짜 위험으로부터의 이격도를 정량화한다.

ABSTRACT

The present work aims at deriving theoretical guaranties on the behavior of some cross-validation procedures applied to the $k$-nearest neighbors ($k$NN) rule in the context of binary classification. Here we focus on the leave-$p$-out cross-validation (L$p$O) used to assess the performance of the $k$NN classifier. Remarkably this L$p$O estimator can be efficiently computed in this context using closed-form formulas derived by \\cite{CelisseMaryHuard11}. We describe a general strategy to derive moment and exponential concentration inequalities for the L$p$O estimator applied to the $k$NN classifier. Such results are obtained first by exploiting the connection between the L$p$O estimator and U-statistics, and second by making an intensive use of the generalized Efron-Stein inequality applied to the L$1$O estimator. One other important contribution is made by deriving new quantifications of the discrepancy between the L$p$O estimator and the classification error/risk of the $k$NN classifier. The optimality of these bounds is discussed by means of several lower bounds as well as simulation experiments.

연구 동기 및 목표

• 이론적 보장을 제공하여 이류-$p$-아웃(L$p$O) 교차검증이 k-NN 분류기의 행동을 분포에 관계없이 보장할 수 있도록 한다.
• 이진 k-NN 분류에 적용된 L$p$O 추정량에 대한 모멘트 및 지수 농도 부등식을 유도한다.
• L$p$O 추정량과 k-NN 규칙의 진짜 분류 위험 사이의 이격도를 정량화한다.
• L$p$O 추정량의 수렴 속도를 $n$, $k$, $p/n$에 대해 분석한다.
• 하한 경계와 시뮬레이션 실험을 통해 유도된 경계의 최적성을 확립한다.

제안 방법

• 이론적 분석을 통해 L$p$O 추정량을 U-통계량과 연결하여 기존의 모멘트 부등식을 활용한다.
• 이류일인(L1O) 케이스에 일반화된 Efron-Stein 부등식을 적용하여 농도 경계를 도출한다.
• Rosenthal 유형의 부등식을 사용하여 k-NN 분류 하에서 L$p$O 추정량의 모멘트를 경계한다.
• Celisse와 Mary-Huard(2011)가 유도한 k-NN에서의 L$p$O에 대한 닫힌 형태의 표현식을 활용하여 효율적 계산과 이론적 분석을 가능하게 한다.
• 확률적 경계와 점근적 근사법을 사용하여 L$p$O와 진짜 위험 사이의 이격도를 정량화한다.
• 이론적 결과는 하한 경계와 시뮬레이션 실험을 통해 검증되어 경계의 날카롭기와 최적성의 정도를 평가한다.

실험 결과

연구 질문

• RQ1 적절한 $p(n)$ 선택에 따라 L$p$O 추정량은 k-NN 분류기의 진짜 위험을 일致적으로 추정하는가?
• RQ2 L$p$O 추정량의 수렴 속도는 $p/n$과 $k$에 대해 어떻게 되는가?
• RQ3 유한 표본 조건 하에서 L$p$O 추정량의 분산과 편향은 진짜 위험과 어떻게 비교되는가?
• RQ4 L$p$O 추정량과 진짜 위험 사이의 이격도는 높은 확률로 정량화될 수 있는가?
• RQ5 유도된 농도 및 모멘트 경계는 하한 경계와 시뮬레이션을 통해 최적임이 확인되는가?

주요 결과

• k-NN 분류기의 L$p$O 추정량은 U-통계량 이론과 일반화된 Efron-Stein 부등식을 통해 유도된 모멘트 및 지수 농도 집중 부등식을 만족한다.
• L$p$O 추정량이 진짜 위험으로 수렴하는 속도는 $n$, $k$, $p/n$에 따라 정량화되었으며, 이에 따라 영향을 받는다.
• L$p$O 추정량과 진짜 분류 위험 사이의 이격도는 높은 확률로 경계지어지며, 하한 경계를 통해 이 경계들이 최적임이 입증된다.
• 유도된 농도 부등식은 날카롭고 시뮬레이션 실험을 통해 이론적 경계의 정확성을 확인한다.
• 적절한 $p(n)$ 선택, 예를 들어 $p = \lfloor n/V \rfloor$ ($V \approx n/p$)에 따라 L$p$O 추정량은 k-NN 위험의 일치 추정량으로 밝혀졌다.
• 이론적 프레임워크는 L$p$O가 $V$-겹 교차검증보다 분산이 낮고 더 강력한 이론적 보장을 제공하므로 k-NN에서 L$p$O를 사용하는 것이 타당하다고 정당화한다.