[论文解读] Mitigating Prior Errors in Causal Structure Learning: A Resilient Approach via Bayesian Networks

Lyuzhou Chen, Taiyu Ban+3 more|arXiv (Cornell University)|Jun 12, 2023

Bayesian Modeling and Causal Inference被引用 8

一句话总结

本文提出一种基于事后近似圆 (quasi-circle) 的方法，用于检测并缓解基于分数的贝叶斯网络学习中的顺序反转先验，实现在先验错误下的鲁棒性，同时保留正确的先验。

ABSTRACT

Causal structure learning (CSL), a prominent technique for encoding cause-and-effect relationships among variables, through Bayesian Networks (BNs). Although recovering causal structure solely from data is a challenge, the integration of prior knowledge, revealing partial structural truth, can markedly enhance learning quality. However, current methods based on prior knowledge exhibit limited resilience to errors in the prior, with hard constraint methods disregarding priors entirely, and soft constraints accepting priors based on a predetermined confidence level, which may require expert intervention. To address this issue, we propose a strategy resilient to edge-level prior errors for CSL, thereby minimizing human intervention. We classify prior errors into different types and provide their theoretical impact on the Structural Hamming Distance (SHD) under the presumption of sufficient data. Intriguingly, we discover and prove that the strong hazard of prior errors is associated with a unique acyclic closed structure, defined as ``quasi-circle''. Leveraging this insight, a post-hoc strategy is employed to identify the prior errors by its impact on the increment of ``quasi-circles''. Through empirical evaluation on both real and synthetic datasets, we demonstrate our strategy's robustness against prior errors. Specifically, we highlight its substantial ability to resist order-reversed errors while maintaining the majority of correct prior.

研究动机与目标

• 在因果结构学习中利用来自大型语言模型的知识来处理不可靠先验的需求动机。
• 将边级先验错误分为四类并分析其对 SHD 的理论影响。
• 提出一个事后基于近似圆的检测策略，以识别可能的不正确先验。
• 通过合成数据和真实数据集证明该方法对先验错误的鲁棒性。

提出的方法

• 定义并分析四种先验错误类型：无关的、间接的、反向间接的、以及反向直接的先验。
• 证明在局部一致性评分下，顺序反转的先验会在学习得到的 DAG 中产生近似圆。
• 提出一个事后基于近似圆的检测程序，用于标记潜在的顺序反转先验。
• 证明引理将反向先验与近似圆联系起来，并确定间接/无关先验的有限影响。
• 在真实数据和合成数据上评估该方法以评估鲁棒性和先验错误的减弱效果。
• 在理论结果中依赖评分函数的局部一致性（如 BIC、BDeu）。

实验结果

研究问题

• RQ1 在充足数据条件下，不同的先验错误类型如何影响学习得到的 DAG，尤其是 SHD？
• RQ2 是否可以通过结果 DAG 中的近似圆事后识别顺序反转的先验？
• RQ3 在保留正确先验的同时，近似圆策略在多大程度上可以缓解先验的影响？

主要发现

• 顺序反转的先验会显著增加 SHD，而顺序一致和无关的先验最多只会带来少量的 SHD 增加。
• 反向直接与反向间接的先验往往在学习得到的 DAG 中产生近似圆。
• 基于事后的近似圆检查可以在无需人工干预的情况下揭示潜在的错误先验。
• 所提出的抗错搜索策略在保留大约 90% 的正确先验的同时，减少大约 60% 的先验错误。
• 真实数据和合成数据的实证结果支持该方法对先验错误的鲁棒性。