[论文解读] A Bayesian reassessment of nearest-neighbour classification

Lionel Cucala, Jean‐Michel Marin+2 more|ArXiv.org|Feb 10, 2008

Bayesian Methods and Mixture Models参考文献 16被引用 4

一句话总结

本文通过构建一个一致的贝叶斯概率模型，将k近邻（k-NN）分类方法重新诠释为完整的贝叶斯框架，提出了一种新颖的MCMC方法，利用完美抽样或吉布斯抽样来处理不可计算的归一化常数。研究发现，伪似然近似在中等规模数据集上不可靠，而所提出的贝叶斯方法在分类准确率和不确定性量化方面优于标准k-NN。

ABSTRACT

The k-nearest-neighbour procedure is a well-known deterministic method used in supervised classification. This paper proposes a reassessment of this approach as a statistical technique derived from a proper probabilistic model; in particular, we modify the assessment made in a previous analysis of this method undertaken by Holmes and Adams (2002,2003), and evaluated by Manocha and Girolami (2007), where the underlying probabilistic model is not completely well-defined. Once a clear probabilistic basis for the k-nearest-neighbour procedure is established, we derive computational tools for conducting Bayesian inference on the parameters of the corresponding model. In particular, we assess the difficulties inherent to pseudo-likelihood and to path sampling approximations of an intractable normalising constant, and propose a perfect sampling strategy to implement a correct MCMC sampler associated with our model. If perfect sampling is not available, we suggest using a Gibbs sampling approximation. Illustrations of the performance of the corresponding Bayesian classifier are provided for several benchmark datasets, demonstrating in particular the limitations of the pseudo-likelihood approximation in this set-up.

研究动机与目标

• 解决k-NN方法缺乏明确定义的概率基础的问题，该方法传统上是确定性的，且缺乏误差评估。
• 开发一个一致的贝叶斯模型，将k-NN视为统计推断问题而非启发式算法。
• 提供一个原则性的框架，用于估计分类不确定性与模型参数，包括邻居数k。
• 评估并比较处理模型中不可计算归一化常数的计算方法，特别是伪似然、路径抽样和完美抽样。
• 证明所提出的贝叶斯k-NN方法在基准数据集上相较于标准k-NN在分类误差和不确定性量化方面表现更优。

提出的方法

• 构建一个联合概率模型，将训练数据嵌入到具有相容条件分布的玻尔兹曼型模型中，从而嵌入k-NN过程。
• 基于k-NN邻域结构推导出一个合适的似然函数，从而实现完整的贝叶斯推断。
• 采用三种计算策略处理不可计算的归一化常数：伪似然、路径抽样和基于Møller等人算法的完美抽样。
• 提出一种实用的吉布斯抽样近似，作为计算成本过高时完美抽样的可行替代方案。
• 使用MCMC抽样（完美抽样或吉布斯抽样）估计类别标签和模型参数（包括k）的后验分布。
• 利用预测图可视化分类不确定性和决策边界，增强可解释性。

实验结果

研究问题

• RQ1 k-NN分类方法能否被正式嵌入到一致的贝叶斯概率模型中？
• RQ2 针对不可计算归一化常数的不同近似方法——伪似然、路径抽样和完美抽样——如何影响k-NN中的推断质量？
• RQ3 与标准k-NN相比，所提出的贝叶斯k-NN方法是否能提升分类准确率和不确定性量化？
• RQ4 在该背景下，吉布斯抽样近似是否是完美抽样的实用且可靠的替代方案？
• RQ5 贝叶斯框架在多大程度上能够实现对k和类别归属的联合推断，并提供不确定性估计？

主要发现

• 伪似然近似在中等规模数据集上不可靠，导致k-NN情境下的推断质量差。
• 完美抽样和路径抽样提供了有效但计算成本高昂的替代方案，其中路径抽样适用于验证但不适用于常规使用。
• 所提出的吉布斯抽样近似在计算上可行且有效，是完美抽样的实用替代方案。
• 在Pima印度糖尿病数据集上，贝叶斯k-NN的预测误差为0.209，与最佳k-NN结果（例如k=57–66时误差为0.205–0.208）相当。
• 在法医玻璃碎片数据集上，贝叶斯方法将误差从标准k-NN的0.35（k=17）降低至0.29，显示出显著改进。
• 贝叶斯框架通过预测图实现了分类不确定性的可视化，揭示了类别之间的模糊区域。