[论文解读] On the Consistency of Exact and Approximate Nearest Neighbor with Noisy Data.

Wei Gao, Xinyi Niu+1 more|arXiv (Cornell University)|Jul 26, 2016

Machine Learning and Algorithms被引用 6

一句话总结

本文分析了在随机噪声下精确与近似k近邻（k-NN）方法的一致性，证明k-NN在噪声环境下的收敛速率与无噪声情况相同，保持一致性，而1-NN则受噪声影响产生偏差。本文将Johnson-Lindenstrauss引理由有限集推广至无限集，并表明近似k-NN在噪声下仍具鲁棒性，通过维度大幅降低实现更快收敛，但代价是与贝叶斯风险的偏差增大。

ABSTRACT

Nearest neighbor has been one of the simplest and most appealing non-parametric approaches in machine learning, pattern recognition, computer vision, etc. Empirical studies show the resistance of k-nearest neighbor to noise, yet the theoretical understanding is not clear. This work presents the consistency analysis on exact and approximate nearest neighbor in the random noise setting. Our theoretical studies show that k-nearest neighbor, in the noise setting, gets the same consistent rate as that in the noise-free setting, which verifies the robustness of k-nearest neighbor to random noise. The nearest neighbor (1-NN), however, is proven to be biased by random noise. For approximate $k$-nearest neighbor, we first generalize the Johnson-Lindenstrauss lemma to infinite set, and based on this result, we show that the approximate $k$-nearest neighbor is also robust to random noise as that of the exact k-nearest neighbor, and achieves faster convergence rate yet with a tradeoff between consistency and reduced dimension. Specifically, approximate $k$-nearest neighbor with sharp dimensional reduction tends to cause large deviation from the Bayes risk.

研究动机与目标

• 理论分析在随机噪声存在下精确与近似k-NN的一致性。
• 研究当数据受随机噪声污染时，k-NN是否仍保持其收敛速率与一致性。
• 考察在降维条件下近似k-NN的鲁棒性及其与一致性的权衡。
• 阐明1-NN在随机噪声下的理论行为，并与k-NN进行对比。
• 将Johnson-Lindenstrauss引理由有限集推广至无限集，以支持近似k-NN的理论分析。

提出的方法

• 在随机噪声模型下对k-NN一致性进行理论分析，将其收敛速率与无噪声情形进行比较。
• 将Johnson-Lindenstrauss引理由有限集推广至无限维集合，以支持近似k-NN的分析。
• 推导在随机噪声下近似k-NN的一致性边界，建立维度降低与与贝叶斯风险偏差之间的联系。
• 形式化证明k-NN在随机噪声下与无噪声条件下保持相同的收敛速率。
• 运用概率论与测度论工具，分析噪声环境下最近邻分类器的行为。
• 对近似k-NN中维度降低与贝叶斯风险偏差增加之间的权衡进行定量分析。

实验结果

研究问题

• RQ1 k-NN在随机噪声下的收敛速率是否与无噪声情形相同？
• RQ2 1-NN是否受随机噪声影响而产生偏差？若存在，其与k-NN有何不同？
• RQ3 Johnson-Lindenstrauss引理能否推广至无限集，以支持近似k-NN的理论分析？
• RQ4 在随机噪声下，近似k-NN在一致性和收敛速率方面表现如何？
• RQ5 近似k-NN中维度降低与贝叶斯风险偏差之间的权衡是什么？

主要发现

• k-NN在随机噪声下与无噪声情形下保持相同的收敛速率，证实其鲁棒性。
• 1-NN被证明受随机噪声影响产生偏差，而k-NN则保持一致性。
• Johnson-Lindenstrauss引理由有限集推广至无限集，支持了近似k-NN的理论分析。
• 近似k-NN被证明对随机噪声具有鲁棒性，其收敛速度优于精确k-NN。
• 在近似k-NN中，维度的剧烈降低会导致与贝叶斯风险的偏差增大，表明速度与一致性的权衡。