[论文解读] A Multivariate Discretization Method for Learning Bayesian Networks from Mixed Data

Stefano Monti, Gregory F. Cooper|arXiv (Cornell University)|Jan 30, 2013

Bayesian Modeling and Causal Inference参考文献 14被引用 63

一句话总结

本文提出一种多变量离散化方法，用于从混合数据（连续变量与离散变量）中学习贝叶斯网络，其中离散化阈值通过考虑变量相互作用的贝叶斯评分度量动态优化。该方法通过根据当前网络结构自适应调整离散化，提升了结构学习的准确性，在基准数据集上的实验评估中优于单变量方法。

ABSTRACT

In this paper we address the problem of discretization in the context of learning Bayesian networks (BNs) from data containing both continuous and discrete variables. We describe a new technique for <em>multivariate</em> discretization, whereby each continuous variable is discretized while taking into account its interaction with the other variables. The technique is based on the use of a Bayesian scoring metric that scores the discretization policy for a continuous variable given a BN structure and the observed data. Since the metric is relative to the BN structure currently being evaluated, the discretization of a variable needs to be dynamically adjusted as the BN structure changes.

研究动机与目标

• 为解决在混合数据贝叶斯网络学习中连续变量离散化的挑战，其中单变量方法无法捕捉变量间的依赖关系。
• 开发一种动态离散化技术，使其在学习过程中随贝叶斯网络结构的变化而自适应调整。
• 通过在离散化过程中整合多变量交互作用，提升贝叶斯网络结构学习的准确性。
• 提供一种基于评分的框架，将离散化策略相对于当前网络结构进行评估。
• 在真实世界和合成数据集上，证明多变量离散化相较于单变量方法的优越性。

提出的方法

• 该方法使用贝叶斯评分度量来评估每个连续变量的离散化策略，考虑其与其他变量的联合关系。
• 通过在给定网络结构和观测数据的前提下，最大化贝叶斯评分，迭代优化离散化阈值。
• 该方法在结构学习过程中动态调整离散化，确保与当前模型假设的一致性。
• 将离散化视为结构学习过程的一部分，而非预处理步骤。
• 采用贪心搜索方法，遍历可能的离散化配置，以找到最优的连续变量划分。
• 贝叶斯评分同时考虑数据似然性和模型复杂度，倾向于选择在不导致过拟合的前提下提升拟合度的离散化方案。

实验结果

研究问题

• RQ1 如何利用连续变量之间的多变量交互作用来改进贝叶斯网络学习中的离散化？
• RQ2 与静态的单变量方法相比，动态的、结构感知的离散化在多大程度上提升了贝叶斯网络结构学习的准确性？
• RQ3 一种将离散化整合到学习过程中的基于评分的方法，能否在混合数据问题上取得更优性能？
• RQ4 所提出方法对离散化阈值和网络结构的选择有多敏感？
• RQ5 多变量离散化对所学贝叶斯网络的似然性有何影响？

主要发现

• 所提出的多变量离散化方法在混合数据基准测试中显著提升了贝叶斯网络结构学习的准确性，优于单变量离散化方法。
• 在结构学习过程中动态调整离散化阈值，可获得更高评分的模型，该结果通过贝叶斯信息准则（BIC）进行衡量。
• 该方法在合成数据集和真实世界数据集上均表现更优，尤其在变量间存在强依赖关系时优势明显。
• 采用依赖于结构的评分度量，确保了离散化选择与不断演化的网络结构保持一致，从而降低了模型偏差。
• 实证结果表明，与单变量方法相比，多变量离散化可减少过拟合并提升泛化能力。
• 该方法在不同数据分布和变量相关性模式下均表现出良好的鲁棒性。