[论文解读] k*-Nearest Neighbors: From Global to Local

Oren Anava, Kfir Y. Levy|arXiv (Cornell University)|Jan 25, 2017

Statistical Methods and Inference被引用 41

一句话总结

本文提出 $k^*$-最近邻（$k^*$-Nearest Neighbors），一种新颖的局部自适应 $k$-NN 方法，通过显式建模偏差-方差权衡，联合优化每个预测点的邻居数量 $k$ 及其权重。该方法在 UCI 数据集库中的 8 个真实世界数据集里，有 7 个优于标准 $k$-NN 和 Nadaraya-Watson 方法，且在其中 3 个数据集上具有统计显著性提升，通过贪婪算法实现每个点的自适应 $k$ 和最优权重，显著提升性能。

ABSTRACT

The weighted k-nearest neighbors algorithm is one of the most fundamental non-parametric methods in pattern recognition and machine learning. The question of setting the optimal number of neighbors as well as the optimal weights has received much attention throughout the years, nevertheless this problem seems to have remained unsettled. In this paper we offer a simple approach to locally weighted regression/classification, where we make the bias-variance tradeoff explicit. Our formulation enables us to phrase a notion of optimal weights, and to efficiently find these weights as well as the optimal number of neighbors efficiently and adaptively, for each data point whose value we wish to estimate. The applicability of our approach is demonstrated on several datasets, showing superior performance over standard locally weighted methods.

研究动机与目标

• 解决在非参数回归与分类中选择最优 $k$ 和权重这一长期存在的挑战。
• 开发一种方法，使 $k$ 和权重在每个预测点上局部自适应，而非在整个数据集上全局固定。
• 通过显式建模偏差-方差权衡，提供一种理论基础扎实的局部最优估计方法。
• 为每个预测提供置信度保证，并在有限样本条件下提升泛化能力。

提出的方法

• 构建一个局部预测问题，显式平衡偏差与方差，以定义每个数据点的最优权重和 $k$。
• 推导出在偏差-方差权衡下最优权重向量的闭式解，实现高效计算。
• 提出一种贪婪算法，高效且精确地计算每个测试点的最优 $k$ 和权重，避免穷举搜索。
• 使用 5 折交叉验证在验证集上调整 $L/C$ 超参数，该参数控制优化过程中的偏差与方差权衡。
• 采用高斯核作为对比，尽管该方法对核函数不敏感，可适用于任意距离度量。
• 该方法无需模型重构即可应用于二分类和回归任务，统一框架适用于多种类型的数据集。

实验结果

研究问题

• RQ1 我们能否为每个数据点定义一种有理论依据的最优 $k$ 和权重概念，而非全局固定？
• RQ2 如何在保持理论保证的前提下，高效计算每个预测点的最优 $k$ 和权重？
• RQ3 在有限样本、非渐近条件下，自适应选择 $k$ 和权重是否能带来性能提升？
• RQ4 我们能否基于局部偏差-方差权衡，为每个预测提供置信区间？

主要发现

• 所提出的 $k^*$-NN 方法在 UCI 数据库中的 8 个真实世界数据集里，有 7 个优于标准 $k$-NN 和 Nadaraya-Watson 方法。
• 在 QSAR、Ionosphere 和 Yacht 三个数据集上，$k^*$-NN 相较于第二好的方法，性能提升在 0.05 显著性水平上具有统计显著性。
• 在所有数据集中，$k^*$-NN 的绝对误差率均低于标准 $k$-NN 和 Nadaraya-Watson 方法，最佳结果在表 1 中以星号标注。
• $k^*$-NN 为不同数据点选择的 $k$ 值范围各异（如 QSAR 中为 1–4，Diabetes 中为 1–9），体现了有效的局部自适应能力。
• 该方法在不同类型数据上表现稳健，包括二分类（如 Sonar、Fertility）和回归任务（如 Slump、Yacht）。
• 使用贪婪算法可实现最优 $k$ 和权重的精确计算，无需穷举搜索，使方法具备可扩展性和实用性。