[论文解读] Learning Optimal Augmented Bayes Networks

Vikas Hamine, Paul Helman|ArXiv.org|Sep 19, 2005

Bayesian Modeling and Causal Inference参考文献 5被引用 4

一句话总结

本文提出了一种多项式时间的贪心算法，该算法在最小描述长度（MDL）评分下学习到最优的增广贝叶斯网络（ABN）。通过构建属性依赖关系的成本加权无向图，剪除低于阈值的边，并对每个连通分量应用克鲁斯卡尔算法以寻找最大生成树，该方法在保持最优性的同时，将TAN结构推广至允许森林状的增广弧。

ABSTRACT

Naive Bayes is a simple Bayesian classifier with strong independence assumptions among the attributes. This classifier, desipte its strong independence assumptions, often performs well in practice. It is believed that relaxing the independence assumptions of a naive Bayes classifier may improve the classification accuracy of the resulting structure. While finding an optimal unconstrained Bayesian Network (for most any reasonable scoring measure) is an NP-hard problem, it is possible to learn in polynomial time optimal networks obeying various structural restrictions. Several authors have examined the possibilities of adding augmenting arcs between attributes of a Naive Bayes classifier. Friedman, Geiger and Goldszmidt define the TAN structure in which the augmenting arcs form a tree on the attributes, and present a polynomial time algorithm that learns an optimal TAN with respect to MDL score. Keogh and Pazzani define Augmented Bayes Networks in which the augmenting arcs form a forest on the attributes (a collection of trees, hence a relaxation of the stuctural restriction of TAN), and present heuristic search methods for learning good, though not optimal, augmenting arc sets. The authors, however, evaluate the learned structure only in terms of observed misclassification error and not against a scoring metric, such as MDL. In this paper, we present a simple, polynomial time greedy algorithm for learning an optimal Augmented Bayes Network with respect to MDL score.

研究动机与目标

• 为解决朴素贝叶斯分类器假设属性之间条件独立的局限性，通过引入增广弧来放宽该假设。
• 开发一种计算高效的算法，用于在MDL评分准则下学习最优ABN——即包含类别属性与属性间依赖关系的贝叶斯网络。
• 将TAN结构（强制要求增广弧形成树形结构）推广至允许森林状的增广弧，从而提升模型灵活性。
• 证明所提出的算法生成的ABN结构在MDL评分下为全局最优，避免了次优启发式搜索方法。

提出的方法

• 在所有属性（不包括类别）上构建一个完全无向图，其中每条边代表一个潜在的增广弧。
• 为每条边 $ (i,j) $ 计算条件互信息 $ I(X_i; X_j|C) $，并将其作为边的权重，以反映依赖强度。
• 剪除所有权重低于阈值 $ T_R = \frac{||C||(||X_i||-1)(||X_j||-1)}{2N}\log N $ 的边，以确保仅保留能提升评分的弧。
• 对剪枝后图的每个连通分量独立应用克鲁斯卡尔的最大生成树算法，形成最大权值森林。
• 将每棵树中的所有边从选定的根节点出发定向，形成有向无环图（DAG），以保持ABN结构。
• 将类别节点 $ C $ 作为所有属性的父节点，完成ABN结构并满足有效的父节点约束。

实验结果

研究问题

• RQ1 在允许森林状增广弧的情况下，是否能在多项式时间内学习到MDL评分下的最优ABN结构？
• RQ2 添加增广弧的阈值条件是什么，能保证整体MDL评分降低？
• RQ3 所提出的算法如何在保持最优性与计算效率的同时，推广TAN结构？
• RQ4 是否能够证明该算法的输出在MDL评分下为全局最优？
• RQ5 该算法是否避免了先前工作中因使用启发式搜索方法而产生的次优解？

主要发现

• 所提出的算法生成的ABN结构在MDL评分下为最优，其证明基于：任何在阈值剪枝步骤中被移除的边，均不可能存在于任何最优ABN中。
• 阈值 $ T_R $ 的推导确保：只要边的权重高于 $ T_R $，无论方向如何，添加该边都能降低整体MDL评分，这是由于信息增益与参数代价之间的平衡。
• 该算法通过允许形成森林而非单一树结构，推广了TAN方法，从而在不损失最优性的情况下提升了模型灵活性。
• 当剪枝后的图仍保持连通时，该算法退化为TAN算法，证实其为TAN的特例。
• 在连通分量上使用克鲁斯卡尔算法，确保了每个分量中捕获到最大总依赖信息，从而最大化MDL评分中的第二项。
• 该算法具有多项式时间复杂度，使其在实际分类任务中具备可扩展性和实用性，而一般情况下的最优结构学习在NP难问题中是不可行的。