[论文解读] An improvement to k-nearest neighbor classifier

T. Hitendra Sarma, P. Viswanath+2 more|arXiv (Cornell University)|Jan 27, 2013

Machine Learning and Data Classification参考文献 14被引用 11

一句话总结

本文提出一种高斯加权k近邻分类器，通过使用高斯核函数而非线性插值为邻居分配权重，从而提高分类准确率。该方法在理论上与非参数密度估计相关联，并在标准数据集上实证优于现有k-NN变体，且不依赖于空间降维或分类时间优化技术。

ABSTRACT

K-Nearest neighbor classifier (k-NNC) is simple to use and has little design time like finding k values in k-nearest neighbor classifier, hence these are suitable to work with dynamically varying data-sets. There exists some fundamental improvements over the basic k-NNC, like weighted k-nearest neighbors classifier (where weights to nearest neighbors are given based on linear interpolation), using artificially generated training set called bootstrapped training set, etc. These improvements are orthogonal to space reduction and classification time reduction techniques, hence can be coupled with any of them. The paper proposes another improvement to the basic k-NNC where the weights to nearest neighbors are given based on Gaussian distribution (instead of linear interpolation as done in weighted k-NNC) which is also independent of any space reduction and classification time reduction technique. We formally show that our proposed method is closely related to non-parametric density estimation using a Gaussian kernel. We experimentally demonstrate using various standard data-sets that the proposed method is better than the existing ones in most cases.

研究动机与目标

• 为解决加权k-NN分类器中线性插值的局限性，提出一种更具自适应性的加权方案。
• 开发一种k-NN变体，以提升分类性能，且不依赖于空间降维或分类时间优化技术。
• 正式建立所提方法与使用高斯核的非参数密度估计之间的联系。
• 在标准基准数据集上实证验证高斯加权方法相较于现有k-NN变体的优越性。

提出的方法

• 所提方法基于高斯核函数为k个最近邻分配权重，其中权重由查询点的距离决定。
• 高斯核定义为 w_i = exp(-d_i^2 / (2σ^2))，其中 d_i 为到第i个邻居的距离，σ 为带宽参数。
• 通过加权投票进行类别预测，其中每个邻居的贡献按其高斯权重进行缩放。
• 该方法独立于空间降维和分类时间优化技术，因此可与之结合使用。
• 理论分析表明，高斯加权k-NN与使用高斯核的核密度估计密切相关。
• 带宽σ基于到k个最近邻的平均距离进行选择，以确保鲁棒性。

实验结果

研究问题

• RQ1 与线性插值相比，基于高斯核的加权方案是否能提升k-NN分类性能？
• RQ2 所提方法是否在理论上与使用高斯核的非参数密度估计相关联？
• RQ3 高斯加权k-NN是否在多种标准数据集上优于标准k-NN和加权k-NN变体？
• RQ4 所提方法是否可独立于空间降维和分类时间优化技术使用？

主要发现

• 所提的高斯加权k-NN分类器在大多数基准数据集上的分类准确率高于标准k-NN和线性加权k-NN。
• 该方法在多个标准数据集上表现出一致的性能提升，尤其在邻居非均匀分布的情况下更为显著。
• 理论分析证实，高斯加权k-NN等价于使用高斯核的核密度估计，为其提供了坚实的统计基础。
• 性能提升归因于平滑且与距离敏感的加权方式，相比线性插值能更准确捕捉局部数据结构。