[论文解读] An Efficient Search Strategy for Aggregation and Discretization of Attributes of Bayesian Networks Using Minimum Description Length

Corcoran, Jem, Tran, Daniel+1 more|arXiv (Cornell University)|Apr 3, 2014

Bayesian Modeling and Causal Inference参考文献 30被引用 5

一句话总结

本文提出了一种基于最小描述长度（MDL）原则的高效自顶向下搜索策略，用于贝叶斯网络中连续属性的离散化，显著降低了计算成本。通过仅对少量潜在离散化方案进行增量评分比较，该方法在保留结构信息的同时实现了近似最优结果，使弗里德曼和戈德施密特提出的基于MDL的离散化方法具备实际应用可行性。

ABSTRACT

Bayesian networks are convenient graphical expressions for high dimensional probability distributions representing complex relationships between a large number of random variables. They have been employed extensively in areas such as bioinformatics, artificial intelligence, diagnosis, and risk management. The recovery of the structure of a network from data is of prime importance for the purposes of modeling, analysis, and prediction. Most recovery algorithms in the literature assume either discrete of continuous but Gaussian data. For general continuous data, discretization is usually employed but often destroys the very structure one is out to recover. Friedman and Goldszmidt suggest an approach based on the minimum description length principle that chooses a discretization which preserves the information in the original data set, however it is one which is difficult, if not impossible, to implement for even moderately sized networks. In this paper we provide an extremely efficient search strategy which allows one to use the Friedman and Goldszmidt discretization in practice.

研究动机与目标

• 解决弗里德曼和戈德施密特基于MDL的离散化方法在中等规模贝叶斯网络中计算不可行的问题。
• 开发一种实用的搜索策略，能够在不穷举所有可能划分的情况下识别高质量的离散化方案。
• 在离散化过程中保留原始数据的条件独立结构，避免信息损失。
• 使基于MDL的离散化方法能够应用于涉及连续数据的实际场景。

提出的方法

• 提出一种自顶向下的搜索策略，从每个连续变量的完全离散化版本开始，逐步移除阈值。
• 使用局部描述长度（DLlocal）作为评分函数，评估移除每个阈值的影响。
• 通过比较完全离散化方案与逐次移除一个阈值后的DLlocal评分，识别出非信息性分割。
• 按节点逐个应用该搜索策略，假设其他节点已预先完成离散化，并循环迭代执行。
• 采用MDL原则平衡模型复杂度与数据拟合度，偏好描述长度最小的离散化方案。
• 依赖于一个假设：仅当显著降低信息含量的阈值才应被保留。

实验结果

研究问题

• RQ1 能否开发一种计算高效的搜索策略，以近似最优的基于MDL的离散化方法处理连续贝叶斯网络变量？
• RQ2 与朴素离散化相比，所提出的自顶向下方法是否能更好地保留原始数据的条件独立结构？
• RQ3 在何种条件下，移除阈值后MDL评分保持稳定，表明该分割为非信息性？
• RQ4 当由于抽样变异导致经验概率被近似时，该方法是否仍能可靠识别出正确的离散化方案？
• RQ5 在准确性和运行时间方面，该快速搜索策略与完整枚举相比表现如何？

主要发现

• 所提出的自顶向下搜索策略仅需 m1 − 1 次比较，即可从 2m1−1 种可能的划分中识别出最优离散化方案，显著降低计算成本。
• 在‘爆炸’数据的理想情况下（已知正确离散化方案），MDL评分机制能够成功恢复真实结构。
• 实证结果表明，错误的阈值移除（如在1与2之间，或5与6之间）会产生显著不同的 DLlocal 评分，表明可被有效检测。
• 该方法通过观察移除阈值后评分上升的现象，成功识别出非信息性阈值——即不影响条件分布的阈值。
• 即使存在抽样噪声，该方法仍表现出强劲的实证性能，错误移除的阈值在 DLlocal 评分中表现突出。
• 即使生成图并非完全已知，只要目标节点与至少一个其他节点相连，该方法依然有效。