[论文解读] A Bayesian Network Classifier that Combines a Finite Mixture Model and a Naive Bayes Model

Stefano Monti, Gregory F. Cooper|arXiv (Cornell University)|Jan 23, 2013

Bayesian Modeling and Causal Inference参考文献 27被引用 24

一句话总结

本文提出了一种混合贝叶斯网络分类器，将有限高斯混合模型（FMM）与朴素贝叶斯（NB）模型相结合，以提升分类准确率和概率校准效果。通过在朴素贝叶斯框架内对特征变量建模为多个分量的混合，该方法在保留计算效率的同时放松了朴素贝叶斯的条件独立性假设，在真实数据集上的表现优于朴素贝叶斯和有限高斯混合模型本身。

ABSTRACT

In this paper we present a new Bayesian network model for classification that combines the naive-Bayes (NB) classifier and the finite-mixture (FM) classifier. The resulting classifier aims at relaxing the strong assumptions on which the two component models are based, in an attempt to improve on their classification performance, both in terms of accuracy and in terms of calibration of the estimated probabilities. The proposed classifier is obtained by superimposing a finite mixture model on the set of feature variables of a naive Bayes model. We present experimental results that compare the predictive performance on real datasets of the new classifier with the predictive performance of the NB classifier and the FM classifier.

研究动机与目标

• 为解决朴素贝叶斯和有限高斯混合模型在分类任务中的局限性，通过结合两者的优势。
• 通过特征的混合建模，放松朴素贝叶斯的强条件独立性假设。
• 提升分类任务中的预测准确率与概率估计的校准效果。
• 开发一种计算高效的贝叶斯网络分类器，在保持可处理性的同时提升性能。
• 在真实世界数据集上，将所提模型与基线分类器进行对比评估。

提出的方法

• 通过在朴素贝叶斯模型的特征变量上叠加混合分量，将有限高斯混合模型（FMM）与朴素贝叶斯（NB）结构相结合。
• 每个特征被建模为多个分量分布的混合，从而实现对特征依赖关系的更灵活表示。
• 引入隐变量以指示每个特征由哪个混合分量生成，从而支持分量特定的参数估计。
• 通过期望最大化（EM）算法进行参数学习，以处理贝叶斯网络框架内的隐性混合结构。
• 联合概率分布通过混合分量和类别条件特征分布定义，同时保持朴素贝叶斯对类别变量的结构。
• 最终分类器基于完整模型，采用最大后验概率（MAP）决策规则进行类别预测。

实验结果

研究问题

• RQ1 将有限高斯混合模型与朴素贝叶斯结合是否能提升真实数据集上的分类准确率？
• RQ2 与朴素贝叶斯或有限高斯混合模型单独使用相比，该混合模型是否能更好地校准预测概率？
• RQ3 在预测性能方面，所提模型与基线分类器相比表现如何？
• RQ4 特征的混合建模在多大程度上放松了朴素贝叶斯的条件独立性假设？
• RQ5 所提模型在计算上是否可行，并可扩展至真实世界的分类问题？

主要发现

• 所提出的混合分类器在多个真实世界数据集上的分类准确率均高于朴素贝叶斯和有限高斯混合模型。
• 与常产生过度自信估计的朴素贝叶斯相比，该模型在预测概率校准方面表现显著更优。
• 有限高斯混合分量结构有效捕捉了复杂的特征分布，减轻了朴素贝叶斯条件独立性假设被违反的影响。
• 基于EM的参数学习过程在存在隐性混合结构的情况下，仍能实现有效的参数估计。
• 由于贝叶斯网络的模块化结构，分类器保持了计算效率，具备良好的可扩展性。
• 来自UAI 1999会议论文集的实证结果证实，该混合模型在准确率和概率校准方面均表现更优。