[논문 리뷰] New upper bounds on cross-validation for the k-Nearest Neighbor classification rule

Alain Célisse, Tristan Mary‐Huard|arXiv (Cornell University)|2015. 08. 15.

Statistical Methods and Inference참고 문헌 51인용 수 1

한 줄 요약

이 논문은 k-가 б리운 이웃(kNN) 분류기의 떠나는 p개의 샘플(leave-p-out) 추정기의 모멘트에 대한 더 낫게 조인 상한을 유도하기 위해 새로운 이론적 프레임워크를 제안한다. 이는 U-통계량과 일반화된 Efron-Stein 부등식을 활용한다. 주요 기여는 kNN 분류에서 교차검증의 이론적 보장을 향상시키는 새로운 지수 농도 부등식으로, 특히 공간적으로 비균일한 고차원 설정에서 효과적이다.

ABSTRACT

The present work addresses binary classification by use of the k-nearest neighbors (kNN) classifier. Among several assets, it belongs to intuitive majority vote classification rules and also adapts to spatial inhomogeneity, which is particularly relevant in high dimensional settings where no a priori partitioning of the space seems realistic. However the performance of the kNN classifier crucially depends on the number k of neighbors that will be considered. To calibrate the parameter k, cross-validation procedures such as V-fold or leave-one-out are usually used. But on the one hand these procedures can become highly time-consuming. On the other hand, not that much theoretical guaranties do exist on the performance of such procedures. Recently [11] have derived closed-form formulas for the leave-pout estimator of the kNN classifier performance. Such formulas now allow to efficiently perform cross-validation. The main purpose of the present article is twofold: First, we provide a new strategy to derive bounds on moments of the leave-pout estimator used to assess the performance of the kNN classifier. This new strategy exploits the link between leave-pout and U-statistics as well as the generalized Efron-Stein inequality. Second, these moment upper bounds are used to settle a new exponential concentration inequality for

연구 동기 및 목표

• kNN 분류에서 교차검증에 대한 이론적 보장이 부족한 문제를 해결하기 위해, 특히 떠나는 p개의 샘플 절차에 중점을 둔다.
• kNN 성능 평가에 사용되는 떠나는 p개의 샘플 추정기의 모멘트에 대한 상한을 유도하는 새로운 전략을 개발하기 위해.
• 떠나는 p개의 샘플 추정기와 U-통계량 간의 연결 고리를 활용하여 이론적 분석을 향상시키기 위해.
• 떠나는 p개의 샘플 추정기용 새로운 지수 농도 부등식을 수립하여 이론적 성능 상한을 향상시키기 위해.
• kNN 분류에서 k의 효율적이고 이론적으로 타당한 선택을 지원하기 위해.

제안 방법

• 방법은 떠나는 p개의 샘플 추정기와 U-통계량 간의 구조적 관계를 활용하여 모멘트 상한을 도출한다.
• 이 방법은 떠나는 p개의 샘플 추정기의 분산을 제어하기 위해 일반화된 Efron-Stein 부등식을 적용한다.
• 이 접근법은 kNN 성능 추정 문제를 분석 가능성이 높은 U-통계량 프레임워크로 변환한다.
• 조합론적 및 확률론적 기법을 바탕으로 한 U-통계량 이론을 활용해 모멘트 상한을 도출한다.
• 이 상한들은 이후 떠나는 p개의 샘플 추정기용 새로운 지수 농도 부등식을 구성하는 데 사용된다.
• 이 프레임워크는 교차검증 하에서 kNN의 위험 추정에 대해 더 강력한 이론적 통제를 가능하게 한다.

실험 결과

연구 질문

• RQ1 kNN 분류에서 떠나는 p개의 샘플 추정기의 모멘트 상한은 어떻게系통적으로 도출될 수 있는가?
• RQ2 U-통계량 표현은 kNN 교차검증 분석에 어떤 이론적 이점을 제공하는가?
• RQ3 일반화된 Efron-Stein 부등식은 kNN 성능 추정기의 농도 성질을 향상시킬 수 있는가?
• RQ4 kNN에서 떠나는 p개의 샘플 추정기용 결과로 도출된 지수 농도 부등식은 무엇인가?
• RQ5 이 상한들은 고차원 설정에서 kNN 교차검증의 이론적 신뢰성은 어떻게 향상되는가?

주요 결과

• 논문은 U-통계량과의 연결 고리를 활용하여 떠나는 p개의 샘플 추정기의 모멘트에 대한 새로운 상한을 도출한다.
• 일반화된 Efron-Stein 부등식이 kNN 성능 추정기의 분산을 효과적으로 제어하는 데 성공적으로 적용되었다.
• 떠내는 p개의 샘플 추정기용 새로운 지수 농도 부등식이 수립되었으며, 이는 이론적 위험 통제를 향상시킨다.
• 유도된 상한은 더 낫고 고차원적, 공간적으로 비균일한 데이터 설정에 더 적합하다.
• 이 프레임워크는 kNN 분류에서 교차검증을 통해 k를 선택하는 데 더 강력한 이론적 근거를 제공한다.
• 결과는 계산적으로 비용이 많이 드는 절차에 의존하지 않고도 kNN에서 더 신뢰성 있고 효율적인 매개변수 튜닝을 지원한다.