[论文解读] Estimating Continuous Distributions in Bayesian Classifiers

George H. John, Pat Langley|arXiv (Cornell University)|Feb 20, 2013

Bayesian Modeling and Causal Inference参考文献 21被引用 2,918

一句话总结

该论文研究贝叶斯分类器中连续变量的非参数密度估计，显示核密度估计在某些情况下优于高斯假设。它在各种领域给出实验结果，展示了误差的减少。

ABSTRACT

When modeling a probability distribution with a Bayesian network, we are faced with the problem of how to handle continuous variables. Most previous work has either solved the problem by discretizing, or assumed that the data are generated by a single Gaussian. In this paper we abandon the normality assumption and instead use statistical methods for nonparametric density estimation. For a naive Bayesian classifier, we present experimental results on a variety of natural and artificial domains, comparing two methods of density estimation: assuming normality and modeling each conditional distribution with a single Gaussian; and using nonparametric kernel density estimation. We observe large reductions in error on several natural and artificial data sets, which suggests that kernel estimation is a useful tool for learning Bayesian models.

研究动机与目标

• 在不假设正态分布的情况下，动机化在贝叶斯网络中对连续变量建模的挑战。
• 评估非参数密度估计作为离散化或单一高斯模型的替代方案。
• 在多样化领域评估核密度估计对分类器准确性的影响。

提出的方法

• 比较两种条件分布的密度估计方法：(i) 假设正态分布，对每个条件仅用一个高斯；(ii) 非参数核密度估计。
• 在朴素贝叶斯分类器框架中应用这些方法。
• 在自然数据集和人工数据集上进行实验评估。
• 分析并比较两种方法在分类误差上的降低。

实验结果

研究问题

• RQ1 核密度估计是否在贝叶斯分类器中提升分类准确性，相对于高斯假设？
• RQ2 在不同的自然和人工领域，非参数密度估计的表现如何？
• RQ3 核方法学习包含连续变量的贝叶斯模型的实际好处是什么？

主要发现

• 核密度估计在若干数据集上实现了显著的误差降低。
• 在贝叶斯分类器中，非参数密度估计可以超越单一高斯方法。
• 结果表明，基于核的学习是建模贝叶斯网络中连续分布的有用工具。