[论文解读] Bayesian Network Classifiers in a High Dimensional Framework

Tatjana Pavlenko, Dietrich von Rosen|arXiv (Cornell University)|Dec 12, 2012

Bayesian Modeling and Causal Inference参考文献 16被引用 4

一句话总结

本文提出了一种高维渐近框架用于贝叶斯网络分类器，表明其判别函数是广义可加模型的特例，从而可推导出误分类概率的闭式渐近表达式。本文提出了一种加权增强朴素贝叶斯分类器，通过基于判别能力优化特征集权重，结合高维下对判别能力的过度估计的理论校正，以最小化误分类。

ABSTRACT

We present a growing dimension asymptotic formalism. The perspective in this paper is classification theory and we show that it can accommodate probabilistic networks classifiers, including naive Bayes model and its augmented version. When represented as a Bayesian network these classifiers have an important advantage: The corresponding discriminant function turns out to be a specialized case of a generalized additive model, which makes it possible to get closed form expressions for the asymptotic misclassification probabilities used here as a measure of classification accuracy. Moreover, in this paper we propose a new quantity for assessing the discriminative power of a set of features which is then used to elaborate the augmented naive Bayes classifier. The result is a weighted form of the augmented naive Bayes that distributes weights among the sets of features according to their discriminative power. We derive the asymptotic distribution of the sample based discriminative power and show that it is seriously overestimated in a high dimensional case. We then apply this result to find the optimal, in a sense of minimum misclassification probability, type of weighting.

研究动机与目标

• 开发一个用于在高维设置下评估贝叶斯网络分类器的渐近框架，其中维度随样本量增长。
• 形式化贝叶斯网络分类器与广义可加模型之间的联系，以增强分析的可操作性。
• 提出一种新的特征集判别能力度量方法，以指导分类器设计。
• 校正高维数据中判别能力的过度估计问题。
• 推导出能最小化渐近误分类概率的加权增强朴素贝叶斯分类器的最优加权方案。

提出的方法

• 采用一种渐近形式，其中样本量和特征维度以固定比例同时增长。
• 将贝叶斯网络分类器表示为广义可加模型，以推导出渐近误分类概率的闭式表达式。
• 基于特征子集对分类准确率的贡献，提出一种判别能力度量方法。
• 推导样本判别能力估计量的渐近分布，以量化其在高维下的偏差。
• 提出一种加权增强朴素贝叶斯分类器，根据特征集的估计判别能力为其分配权重。
• 优化加权方案，以最小化渐近误分类概率，同时考虑高维下对判别能力的过度估计。

实验结果

研究问题

• RQ1 如何在特征维度不断增长的高维渐近框架下分析贝叶斯网络分类器？
• RQ2 贝叶斯网络分类器与广义可加模型在判别函数方面有何关系？
• RQ3 特征集的判别能力如何估计？其在高维设置下的渐近行为如何？
• RQ4 为何样本判别能力在高维数据中被过度估计？这种偏差如何校正？
• RQ5 在增强朴素贝叶斯分类器中，何种最优加权方案能最小化渐近误分类概率？

主要发现

• 贝叶斯网络分类器的判别函数是广义可加模型的一个特例，从而可推导出渐近误分类概率的闭式表达式。
• 所提出的判别能力度量方法为评估特征子集对分类性能的贡献提供了一种系统性方法。
• 由于增长维度渐近性的影响，样本判别能力估计在高维设置下系统性地被过度估计。
• 推导出了判别能力估计量的渐近分布，揭示了高维下偏差的性质与大小。
• 加权增强朴素贝叶斯分类器的最优加权方案通过考虑特征集判别能力的过度估计，最小化了误分类概率。
• 由此产生的加权增强朴素贝叶斯分类器通过为更具判别能力的特征集分配适当权重，实现了更高的分类准确率。