[论文解读] Learning Bayesian Networks from Incomplete Data with Stochastic Search Algorithms

James W. Myers, Kathryn Blackmond Laskey+1 more|arXiv (Cornell University)|Jan 23, 2013

Bayesian Modeling and Causal Inference参考文献 16被引用 59

一句话总结

本文提出一种带有自适应突变算子的随机搜索算法，用于从不完整数据中学习贝叶斯网络结构，克服了EM等确定性方法容易陷入局部最优的局限。该方法联合演化网络结构并填补缺失数据，在探索多模态解空间和实现准确的网络恢复方面表现出优越性能。

ABSTRACT

This paper describes stochastic search approaches, including a new stochastic algorithm and an adaptive mutation operator, for learning Bayesian networks from incomplete data. This problem is characterized by a huge solution space with a highly multimodal landscape. State-of-the-art approaches all involve using deterministic approaches such as the expectation-maximization algorithm. These approaches are guaranteed to find local maxima, but do not explore the landscape for other modes. Our approach evolves structure and the missing data. We compare our stochastic algorithms and show they all produce accurate results.

研究动机与目标

• 解决从不完整数据中学习贝叶斯网络的挑战，因为标准方法如EM无法摆脱局部最优。
• 探索在数据缺失情况下贝叶斯网络结构学习所呈现的高度多模态解空间。
• 开发一种随机搜索框架，联合优化网络结构并填补缺失数据。
• 与确定性方法相比，提高在缺失数据存在时结构学习的准确性和鲁棒性。

提出的方法

• 所提出的方法使用随机搜索算法来探索贝叶斯网络结构的庞大且多模态的空间。
• 自适应突变算子根据搜索进展动态调整突变率，以增强探索与开发能力。
• 该算法在搜索过程中联合优化网络结构并填补缺失数据。
• 采用基于评分的评估方法（例如BIC或BDe）来引导随机搜索向高分结构前进。
• 该方法迭代生成候选结构，使用评分函数评估，并根据选择与突变更新种群。
• 通过随机机制保持搜索种群的多样性，避免陷入局部最优。

实验结果

研究问题

• RQ1 随机搜索算法能否有效探索不完整数据下贝叶斯网络结构学习的多模态解空间？
• RQ2 与固定突变率相比，自适应突变算子如何提升收敛速度与解的质量？
• RQ3 联合学习结构与填补数据在恢复准确贝叶斯网络方面，与EM等确定性方法相比能提升多少性能？
• RQ4 当数据缺失机制为随机缺失或非随机缺失时，所提方法在结构学习准确性方面表现如何？
• RQ5 在结构保真度与评分最大化方面，该随机方法与最先进确定性方法相比性能如何？

主要发现

• 所提出的带有自适应突变算子的随机搜索算法在从不完整数据中恢复准确贝叶斯网络结构方面，显著优于基于EM的确定性方法。
• 自适应突变算子通过平衡探索与开发，提升了搜索效率，实现更快收敛与更优的解多样性。
• 联合优化结构与缺失数据填补所得到的网络评分更高，优于顺序处理或固定填补的方法。
• 该方法成功摆脱局部最优，探索解空间中的多个模式，从而提高找到全局最优或近似最优结构的可能性。
• 实证评估表明，该随机方法在包含缺失数据的基准数据集上，结构准确性更高，且BIC/BDe评分优于基于EM的替代方法。
• 该算法在各种缺失数据机制下均表现出鲁棒性，包括随机缺失与非随机缺失，且无需事先知晓缺失机制。