[论文解读] Classifier Learning with Supervised Marginal Likelihood

Petri Kontkanen, Petri Myllymäki+1 more|arXiv (Cornell University)|Jan 10, 2013

Bayesian Modeling and Causal Inference参考文献 13被引用 17

一句话总结

本文提出使用监督边际似然作为贝叶斯网络分类器的模型选择准则，证明了对于预测变量较少的诊断模型，该评分可在线性时间内计算。该方法通过利用给定预测变量的类别条件分布，实现了高效学习高质量分类器，其在某些场景下优于标准边际似然和朴素贝叶斯方法。

ABSTRACT

It has been argued that in supervised classification tasks, in practice it may be more sensible to perform model selection with respect to some more focused model selection score, like the supervised (conditional) marginal likelihood, than with respect to the standard marginal likelihood criterion. However, for most Bayesian network models, computing the supervised marginal likelihood score takes exponential time with respect to the amount of observed data. In this paper, we consider diagnostic Bayesian network classifiers where the significant model parameters represent conditional distributions for the class variable, given the values of the predictor variables, in which case the supervised marginal likelihood can be computed in linear time with respect to the data. As the number of model parameters grows in this case exponentially with respect to the number of predictors, we focus on simple diagnostic models where the number of relevant predictors is small, and suggest two approaches for applying this type of models in classification. The first approach is based on mixtures of simple diagnostic models, while in the second approach we apply the small predictor sets of the simple diagnostic models for augmenting the Naive Bayes classifier.

研究动机与目标

• 为解决标准边际似然在监督分类中的局限性，提出一种更聚焦的模型选择准则。
• 证明监督边际似然可高效计算于诊断贝叶斯网络分类器。
• 开发实用方法，将少量预测变量的简单诊断模型组合应用，以提升分类性能。
• 将所提方法与现有方法（如朴素贝叶斯和标准边际似然）进行比较。

提出的方法

• 本文聚焦于类别变量依赖于少量预测变量的诊断贝叶斯网络分类器。
• 利用这些模型的结构，以与数据规模成线性关系的时间复杂度计算监督边际似然。
• 提出两种分类策略：基于简单诊断结构的混合模型，以及通过选择的预测变量集对朴素贝叶斯进行增强。
• 通过在选定的预测变量集上进行贝叶斯模型平均，以提升泛化能力。
• 将监督边际似然推导为条件边际似然，即在给定观测数据和类别标签的条件下对模型参数进行积分。

实验结果

研究问题

• RQ1 监督边际似然能否高效计算于贝叶斯网络分类器？
• RQ2 使用监督边际似然是否能获得优于标准边际似然或朴素贝叶斯的分类性能？
• RQ3 能否有效组合或增强具有少量预测变量的简单诊断模型以提升分类准确率？
• RQ4 监督边际似然的计算成本是否适合在实际分类任务中应用？

主要发现

• 监督边际似然评分可对诊断贝叶斯网络分类器实现线性时间计算，具备计算可行性。
• 所提方法在基准数据集上的分类准确率优于标准边际似然和朴素贝叶斯。
• 基于简单诊断结构的混合模型为有效组合多个低维预测变量集提供了灵活方式。
• 通过诊断模型中选择的预测变量集对朴素贝叶斯进行增强，可在不显著增加复杂度的前提下提升性能。