[论文解读] Statistical Optimality of Interpolated Nearest Neighbor Algorithms

Yue Xing, Qifan Song+1 more|arXiv (Cornell University)|Oct 5, 2018

Face and Expression Recognition参考文献 12被引用 7

一句话总结

本文提出了一种插值最近邻（i-NN）算法，通过使用数据相关的、归一化的多项式权重，精确拟合训练数据，在回归和分类任务中均实现了极小化最大风险的最优收敛速率。尽管存在过拟合，该方法比传统k-NN更有效地降低了偏差，从而在保持相同最优收敛速率的前提下实现了更优的实验性能，表明其收敛速度的乘法常数更小。

ABSTRACT

In the era of deep learning, understanding over-fitting phenomenon becomes increasingly important. It is observed that carefully designed deep neural networks achieve small testing error even when the training error is close to zero. One possible explanation is that for many modern machine learning algorithms, over-fitting can greatly reduce the estimation bias, while not increasing the estimation variance too much. To illustrate the above idea, we prove that the proposed interpolated nearest neighbor algorithm achieves the minimax optimal rate in both regression and classification regimes, and observe that they are empirically better than the traditional $k$ nearest neighbor method in some cases.

研究动机与目标

• 理解为何像深度神经网络这样的过拟合模型在训练误差为零的情况下仍能良好泛化。
• 研究插值最近邻方法是否能在回归和分类任务中实现统计最优性。
• 设计一种加权方案，确保对数据的精确插值，同时保持最优收敛速率。
• 在各种设置下，对插值-NN与传统k-NN的性能进行实验比较。
• 探索通过插值在最近邻方法中实现偏差降低的理论与实际优势。

提出的方法

• i-NN估计器使用如下权重定义：$ w_i = \frac{\phi(\|x_{(i)}-x\| / \|x_{(k+1)}-x\|)}{\sum_{j=1}^k \phi(\|x_{(j)}-x\| / \|x_{(k+1)}-x\|)} $，其中 $ \phi $ 是一个满足 $ \lim_{t\to 0} \phi(t) = \infty $ 的正函数，确保在最近邻处实现插值。
• 权重函数 $ \phi $ 的选择需满足一个矩生成函数条件（A.0），以支持理论分析中的集中不等式。
• 回归估计器为 $ \widehat{\eta}(x) = \sum_{i=1}^k w_i y(x_{(i)}) $，分类器为 $ \widehat{g}(x) = \mathbf{1}\{ \widehat{\eta}(x) \geq 1/2 \} $，并通过 $ w_i \to 1 $ 当 $ \|x_{(i)}-x\| \to 0 $ 来强制实现插值。
• 理论分析证明了在标准光滑性和边缘条件下的回归均方误差（MSE）的极小化最大最优性，以及在Tsybakov边缘条件下的分类风险界。
• 通过在紧支集和非紧支集上进行模拟，以及在真实世界HTRU2数据上的验证，比较了MSE和额外风险。
• 理论依据在于利用 $ \phi $ 的矩生成函数条件，通过指数集中不等式来控制未归一化权重的平均值。

实验结果

研究问题

• RQ1 在过拟合训练数据的前提下，插值最近邻算法是否能在回归任务中实现极小化最大风险的最优收敛速率？
• RQ2 传统k-NN与插值-NN之间的偏差-方差权衡有何不同？其后者的实验优越性由何解释？
• RQ3 权重函数 $ \phi $ 的选择是否影响收敛速率？哪些关于 $ \phi $ 的条件可确保理论最优性？
• RQ4 插值-NN相较于k-NN的性能提升是否源于更小的收敛速率乘法常数？
• RQ5 插值-NN的理论最优性是否可推广至非紧支集或一般度量空间设置？

主要发现

• 在标准光滑性和边缘条件假设下，插值-NN估计器在回归和分类任务中均实现了极小化最大风险的最优收敛速率。
• 实验结果表明，插值-NN在多种模拟设置（包括非紧支集）下，其均方误差和额外风险均持续低于k-NN。
• 插值-NN与k-NN所选择的最优k值非常接近，表明性能优势并非源于k值选择的差异，而是源于估计效率的提升。
• 插值-NN的收敛速率具有比k-NN更小的乘法常数，这解释了其在保持相同渐近速率的前提下仍表现出更优实验性能的原因。
• 在真实世界HTRU2数据中，插值-NN在所有测试的k值下均表现出比k-NN更低的分类误差，证实了其鲁棒性和实际优势。
• 理论分析确认，只要权重函数 $ \phi $ 满足矩生成函数条件（A.0），插值不会损害最优性，从而可确保集中不等式成立。