[论文解读] Is the k-NN classifier in high dimensions affected by the curse of dimensionality?

Vladimir Pestov|arXiv (Cornell University)|Oct 19, 2011

Face and Expression Recognition被引用 10

一句话总结

本文研究了k-最近邻分类器在高维空间中是否受到维度灾难的影响。提出了两种方法：一种是k-近似最近邻（k-ANN）分类器，其在高维下具有一致性但不稳定；另一种是Borel同构的降维方法，可将任意可分度量空间普遍地降维至一维，同时保持k-NN的一致性，为传统降维提供了理论稳健的替代方案。

ABSTRACT

There is an increasing body of evidence suggesting that exact nearest neighbour search in high-dimensional spaces is affected by the curse of dimensionality at a fundamental level. Does it necessarily mean that the same is true for k nearest neighbours based learning algorithms such as the k-NN classifier? We analyse this question at a number of levels and show that the answer is different at each of them. As our first main observation, we show the consistency of a k approximate nearest neighbour classifier. However, the performance of the classifier in very high dimensions is provably unstable. As our second main observation, we point out that the existing model for statistical learning is oblivious of dimension of the domain and so every learning problem admits a universally consistent deterministic reduction to the one-dimensional case by means of a Borel isomorphism.

研究动机与目标

• 确定k-最近邻分类器在高维空间中是否受到维度灾难的影响。
• 评估高维k-最近邻分类中近似最近邻搜索的可行性和一致性。
• 探索通过Borel同构实现的降维是否能在降低维度的同时保持k-NN的一致性。
• 挑战高维数据本质上会破坏k-NN性能的假设。
• 提出一种在统计学习中具有理论普遍性的、一致的降维方法。

提出的方法

• 提出k-近似最近邻（k-ANN）分类器，并证明其在数据分布绝对连续条件下的一致性。
• 在渐近情形d → ∞下分析k-ANN分类器，表明一致性要求数据量呈指数增长，表明其在高维下具有不稳定性。
• 提出一种Borel同构的降维方法，将任意可分度量空间映射到R，保持Borel结构，并实现k-NN的普遍一致性。
• 证明Stone的一致性定理在Borel同构下保持不变，从而可在不损失学习性能的前提下将问题降维至一维。
• 运用描述性集合论定义Borel同构为保持可测结构的双射，实现无需拓扑约束的数据降维。
• 在UCI数据集（如Iris、Diabetes）上对Borel降维方法进行实证验证，结果表明降维至1D后分类准确率保持不变或有所提升。

实验结果

研究问题

• RQ1 在高维空间中使用近似最近邻时，k-最近邻分类器是否仍保持一致性？
• RQ2 在高维渐近情形下，k-ANN分类器的性能是否可证明地不稳定？
• RQ3 能否通过Borel同构将数据集的维度降为一维，同时保持k-最近邻分类器的一致性？
• RQ4 当通过Borel同构降低底层数据结构的维度时，维度灾难是否仍会影响k-NN学习？
• RQ5 在统计学习中，解释k-NN在高维下失效的内在维度概念是什么？

主要发现

• k-近似最近邻分类器在数据分布绝对连续的条件下具有一致性，扩展了经典的Stone一致性定理。
• 在高维极限（d → ∞）下，k-ANN分类器需要呈指数增长的数据量才能维持一致性，表明其存在Hughes现象的一种形式。
• Borel同构的降维方法可将任意可分度量空间映射至R¹，同时保持k-NN的一致性，从而实现普遍一致性。
• 在UCI数据集上的实证结果表明，Borel降维方法保持或提升了分类准确率，Iris数据集在降维后准确率达到96%。
• Borel同构方法在理论上具有普遍性，且独立于原始数据域的维度，为随机投影或PCA提供了稳健的替代方案。
• 目标概念C的等周行为（通过μ(Cε)的增长率衡量）是分类器复杂度和内在维度的关键指标。