[论文解读] Learning Discrete Bayesian Networks from Continuous Data

Yi‐Chun Chen, Tim A. Wheeler+1 more|arXiv (Cornell University)|Dec 8, 2015

Bayesian Modeling and Causal Inference参考文献 24被引用 9

一句话总结

本文提出了一种基于贝叶斯原理的离散化方法，用于从连续数据中学习离散贝叶斯网络，采用时间复杂度为二次的动态规划方法，相较于传统最小描述长度（MDL）方法的三次时间复杂度有所改进。该方法同时学习网络结构与最优离散化阈值，在 Auto MPG 和 Iris 等基准数据集上实现了更优的似然度与准确率，尤其在结构感知场景中表现优异，此时边际方法会失效。

ABSTRACT

Learning Bayesian networks from raw data can help provide insights into the relationships between variables. While real data often contains a mixture of discrete and continuous-valued variables, many Bayesian network structure learning algorithms assume all random variables are discrete. Thus, continuous variables are often discretized when learning a Bayesian network. However, the choice of discretization policy has significant impact on the accuracy, speed, and interpretability of the resulting models. This paper introduces a principled Bayesian discretization method for continuous variables in Bayesian networks with quadratic complexity instead of the cubic complexity of other standard techniques. Empirical demonstrations show that the proposed method is superior to the established minimum description length algorithm. In addition, this paper shows how to incorporate existing methods into the structure learning process to discretize all continuous variables and simultaneously learn Bayesian network structures.

研究动机与目标

• 为解决从混合离散-连续数据中学习离散贝叶斯网络的挑战，其中连续变量通常采用次优策略进行离散化。
• 开发一种结构感知的离散化方法，联合优化网络结构与离散化阈值，而非顺序处理。
• 在保持或提升模型似然度与预测准确率的同时，将现有基于 MDL 的离散化方法的时间复杂度从三次方降低至二次方。
• 证明在离散化过程中引入变量依赖关系，可获得比基于边际或启发式方法更优的联合概率表示。

提出的方法

• 提出一种贝叶斯离散化框架，对离散化边界施加先验，并使用时间复杂度为 O(n²) 的动态规划方法计算后验概率，其中 n 为数据点数量。
• 通过交替优化循环将离散化集成到结构学习流程中：首先使用离散数据学习网络结构，然后基于当前结构优化离散化阈值。
• 对离散化边施加非信息性先验，并利用考虑网络中条件依赖关系的似然模型，计算每个候选分割的后验概率。
• 应用动态规划高效搜索每个连续变量的所有可能离散化边界的组合，以最小化联合模型的描述长度。
• 采用可逆跳跃马尔可夫链蒙特卡洛（RJ-MCMC）或贪心搜索，同步探索网络结构与离散化策略的空间。
• 在合成与真实世界数据集上验证该方法，通过对数似然度与预测准确率与 MDL 及边际离散化方法（如贝叶斯块）进行比较。

实验结果

研究问题

• RQ1 是否一种考虑网络结构中条件依赖关系的贝叶斯离散化方法，能在模型似然度与准确率方面优于基于边际或 MDL 的离散化方法？
• RQ2 结构与离散化联合学习方法是否优于顺序或迭代方法？
• RQ3 能否在保持或提升模型质量的同时，将最优离散化的计算复杂度从三次方降低至二次方？
• RQ4 在结构感知设置下，该方法与 MDL 及边际方法相比，在捕捉真实潜在条件分布方面表现如何？

主要发现

• 所提出的贝叶斯离散化方法在 Auto MPG 数据集上实现了显著更高的对数似然度（−25.94 vs. −26.83，MDL 方法），表明其联合模型拟合更优。
• 在具有朴素贝叶斯结构的 Iris 数据集上，贝叶斯方法与 MDL 方法产生的离散化边界相同，且预测准确率均为 94%，但贝叶斯方法的平均对数似然度更高（−2.25 vs. −2.50）。
• 在具有条件均匀分布的合成 A→B 网络中，贝叶斯方法正确识别出真实离散化边界（1.0），而边际方法（如贝叶斯块）失败并产生更差的对数似然度（−0.69）。
• 通过高效的动态规划公式，将离散化复杂度从 O(n³) 降低至 O(n²)，从而在大规模数据集上实现更快的计算速度。
• 结构与离散化的联合学习可生成更准确且更易解释的模型，尤其在变量依赖关系对正确离散化至关重要的情况下表现更优。