[论文解读] Classification with the nearest neighbor rule in general finite dimensional spaces: necessary and sufficient conditions

Sébastien Gadat, Thierry Klein+1 more|arXiv (Cornell University)|Nov 4, 2014

Statistical Methods and Inference参考文献 38被引用 4

一句话总结

本文在一般有限维空间中建立了k-最近邻（k-NN）规则一致性的必要且充分条件，明确了X的边缘分布以及回归函数η(x) = E[Y|X=x]的平滑性和边界性质的作用。研究推导出精确的收敛速率，并提出一种分片最近邻变体，显著提升了在重尾或非紧致设计下的性能。

ABSTRACT

Given an $n$-sample of random vectors $(X_i,Y_i)_{1 \leq i \leq n}$ whose joint law is unknown, the long-standing problem of supervised classification aims to extit{optimally} predict the label $Y$ of a given a new observation $X$. In this context, the nearest neighbor rule is a popular flexible and intuitive method in non-parametric situations. Even if this algorithm is commonly used in the machine learning and statistics communities, less is known about its prediction ability in general finite dimensional spaces, especially when the support of the density of the observations is $\mathbb{R}^d$. This paper is devoted to the study of the statistical properties of the nearest neighbor rule in various situations. In particular, attention is paid to the marginal law of $X$, as well as the smoothness and margin properties of the extit{regression function} $η(X) = \mathbb{E}[Y | X]$. We identify two necessary and sufficient conditions to obtain uniform consistency rates of classification and to derive sharp estimates in the case of the nearest neighbor rule. Some numerical experiments are proposed at the end of the paper to help illustrate the discussion.

研究动机与目标

• 刻画在设计分布可能具有无界支撑的一般有限维空间中k-最近邻规则的统计一致性。
• 明确确保一致收敛速率的X边缘分布以及回归函数η(x)的平滑性/边界性质的精确条件。
• 在k-NN规则下推导分类过失风险的尖锐、极小极大最优收敛速率。
• 提出并分析一种适应局部密度变化的分片最近邻规则，以改善在非紧致或重尾设定下的性能。
• 通过数值实验验证理论发现，比较标准k-NN与分片k-NN在多种分布（正态、柯西、幂律）下的表现。

提出的方法

• 在R^d中基于i.i.d.抽样分析k-NN规则，重点关注其相对于贝叶斯最优规则的分类过失风险。
• 通过施加在X边缘分布（如尾部行为）和η(x)平滑性（特别是边界条件）上的条件，推导出一致性的统一收敛速率。
• 提出一种分片最近邻规则，利用基于核的自适应带宽选择进行局部密度估计，以使k_n(X)适应局部设计密度。
• 为标准和分片k-NN建立过失风险的理论界，表明在有利的边界和光滑性条件下收敛速率得到改善。
• 采用1000次重复的蒙特卡洛模拟，比较标准k-NN（k_n ~ n^{2/(3+α+d)}）与分片k-NN（k_n(X)自适应于密度估计）在多种分布下的表现。
• 使用kde.m包实现X边缘分布的自适应核密度估计，以实现分片规则。

实验结果

研究问题

• RQ1 在R^d中，X边缘分布和回归函数η(x)需满足何种必要且充分条件，才能保证k-NN规则的一致性？
• RQ2 η(x)的平滑性和边界性质如何影响k-NN过失风险的收敛速率？
• RQ3 在非紧致或重尾设计下，能否通过基于密度自适应（分片）的k-NN规则版本实现优于标准规则的性能？
• RQ4 在一般正则条件下，标准和分片k-NN规则的理论过失风险收敛速率为何？
• RQ5 分片规则的性能提升随样本量n的增长如何变化？其在不同分布假设（如正态、柯西、幂律）下是否具有鲁棒性？

主要发现

• 本文识别出两个必要且充分条件——关于X的边缘分布以及η(x)的边界/平滑性——可完全刻画R^d中k-NN规则的一致性。
• 对于标准k-NN规则，在参数为α的边界条件下，过失风险以O(n^{-2/(3+α+d)})的速率收敛，其中k_n ~ n^{2/(3+α+d)}。
• 分片最近邻规则通过基于局部密度估计自适应调整k_n(X)，在相同条件下可实现更快的O(n^{-2/(2+α+d)})收敛速率。
• 数值实验表明，分片规则在所有分布下均持续优于标准k-NN，相对增益从n=100时的6%提升至n=1000时的37%。
• 在重尾分布（如柯西分布）下，改进最为显著，因为标准k-NN因设计稀疏而难以选择良好的局部邻域。
• 在高维情形下，分片规则的理论优势减弱，提示在高维设置中可能需要维度降低或其它适应策略。