[论文解读] Improving Bayesian Network Structure Learning in the Presence of Measurement Error

Yang Liu, Anthony C. Constantinou+1 more|arXiv (Cornell University)|Nov 19, 2020

Bayesian Modeling and Causal Inference参考文献 23被引用 8

一句话总结

本文提出一种基于评分的校正算法——虚假边检测（Spurious Edge Detection, SED），用于消除由测量误差引起的贝叶斯网络结构学习中的假阳性边。通过结合EM算法与BIC评分来检测并修剪虚假边，SED在多个含合成测量误差的数据集上，提升了四种成熟结构学习算法的图结构评分。

ABSTRACT

Structure learning algorithms that learn the graph of a Bayesian network from observational data often do so by assuming the data correctly reflect the true distribution of the variables. However, this assumption does not hold in the presence of measurement error, which can lead to spurious edges. This is one of the reasons why the synthetic performance of these algorithms often overestimates real-world performance. This paper describes an algorithm that can be added as an additional learning phase at the end of any structure learning algorithm, and serves as a correction learning phase that removes potential false positive edges. The results show that the proposed correction algorithm successfully improves the graphical score of four well-established structure learning algorithms spanning different classes of learning in the presence of measurement error.

研究动机与目标

• 解决观测数据中测量误差导致的贝叶斯网络结构学习中出现虚假边的问题。
• 通过校正由噪声变量引入的假阳性边，提升结构学习算法的可靠性。
• 开发一种与现有任意结构学习算法兼容的后处理校正阶段。
• 在不同测量误差水平下，评估该校正方法在多种学习算法上的有效性。
• 证明所提方法在存在测量误差时能提升图结构评分，弥合合成数据与真实世界性能之间的差距。

提出的方法

• 通过假设每个噪声变量是其未观测到的、无误差的父变量的子节点，对测量误差进行建模。
• 使用EM算法，从未完全、含噪声的数据中估计含隐变量（无误差版本）的贝叶斯网络参数。
• 利用EM算法收敛后的对数似然值，计算包含隐变量的重构图的BIC评分。
• 应用基于评分的剪枝策略：当模型包含无误差父结构时，若移除某条边能提升BIC评分，则将其移除。
• 将校正阶段视为后处理步骤，作用于任意结构学习算法的输出结果。
• 对于CPDAG，从马尔可夫等价类中采样一个代表性DAG，并计算其BIC评分以评估整体结构性能。

实验结果

研究问题

• RQ1 测量误差在多大程度上降低了标准贝叶斯网络结构学习算法的性能？
• RQ2 后处理校正阶段是否能有效识别并移除由测量误差引起的假阳性边？
• RQ3 所提出的SED算法在测量误差下如何提升多种结构学习算法的图结构评分？
• RQ4 该校正方法在不同水平和类型的测量误差下是否保持或提升性能？
• RQ5 SED方法是否可作为通用插件校正方法，适用于任何现有结构学习算法？

主要发现

• SED校正算法在测量误差存在时，成功提升了四种成熟结构学习算法（PC、GES、ILP和MMHC）的图结构评分。
• 该提升效果在多个数据集和不同测量误差水平下均保持一致，表现出良好的鲁棒性。
• 该方法通过利用EM算法估计的含隐变量模型进行BIC评分，有效减少了假阳性边。
• 校正阶段作为后处理步骤具有普适性，无需对原始学习算法进行任何修改。
• 结果表明，由于未考虑测量误差，合成性能基准往往高估了真实世界性能，而SED有助于纠正这一偏差。
• 该方法验证了假设：在给定未观测到的无误差父节点条件下，噪声变量与其他变量条件独立，从而提升了模型保真度。