[论文解读] Learning LWF Chain Graphs: A Markov Blanket Discovery Approach

Mohammad Ali Javidian, Marco Valtorta+1 more|arXiv (Cornell University)|May 29, 2020

Bayesian Modeling and Causal Inference被引用 6

一句话总结

本文提出了一种用于LWF链图的新型马尔可夫毯发现框架，将生长-收缩（Grow-Shrink）和IAMB算法扩展至此类图模型。在信仰性和因果充分性假设下，证明了这些算法的正确性，从而实现了可扩展的、基于约束的LWF链图结构学习，其性能与最先进的方法（如LCD）相当，尤其在高维设置下表现优异。

ABSTRACT

This paper provides a graphical characterization of Markov blankets in chain graphs (CGs) under the Lauritzen-Wermuth-Frydenberg (LWF) interpretation. The characterization is different from the well-known one for Bayesian networks and generalizes it. We provide a novel scalable and sound algorithm for Markov blanket discovery in LWF CGs and prove that the Grow-Shrink algorithm, the IAMB algorithm, and its variants are still correct for Markov blanket discovery in LWF CGs under the same assumptions as for Bayesian networks. We provide a sound and scalable constraint-based framework for learning the structure of LWF CGs from faithful causally sufficient data and prove its correctness when the Markov blanket discovery algorithms in this paper are used. Our proposed algorithms compare positively/competitively against the state-of-the-art LCD (Learn Chain graphs via Decomposition) algorithm, depending on the algorithm that is used for Markov blanket discovery. Our proposed algorithms make a broad range of inference/learning problems computationally tractable and more reliable because they exploit locality.

研究动机与目标

• 为LWF链图中的马尔可夫毯提供一种图形表征，与贝叶斯网络中的表征相区别。
• 在与贝叶斯网络相同的假设下，将生长-收缩（Grow-Shrink）和IAMB算法扩展至LWF链图中的马尔可夫毯发现。
• 开发一种基于约束的LWF链图结构学习框架，该框架在使用所提出的马尔可夫毯发现算法时既正确又可扩展。
• 证明马尔可夫毯发现可独立地针对每个变量进行，从而支持大规模数据的并行化处理。
• 表明所提出的方法在各种样本大小和评估指标下，性能可与或优于当前最先进的LCD算法。

提出的方法

• 提出一种新算法MBC-CSP，用于基于条件独立性检验在LWF链图中发现马尔可夫毯。
• 通过利用其局部结构和条件独立性特性，将生长-收缩（GSMB）和IAMB算法适配至LWF链图。
• 在信仰性和因果充分性假设下，建立GSMB和IAMB在LWF链图中的理论正确性。
• 引入一种全局结构学习框架，将问题简化为对每个变量高效发现马尔可夫毯。
• 采用模块化方法，独立学习各个马尔可夫毯，然后将其合并为一致的LWF链图。
• 使用基于约束的条件独立性检验来引导发现过程，确保在指定假设下的正确性。

实验结果

研究问题

• RQ1 马尔可夫毯的概念在LWF链图中如何形式化表征？其与贝叶斯网络情形有何不同？
• RQ2 能否在保持其正确性和可扩展性的前提下，将现有的马尔可夫毯发现算法（如生长-收缩和IAMB）扩展至LWF链图？
• RQ3 所提出的基于马尔可夫毯的学习框架在LWF链图上的性能与当前最先进的方法（如LCD）相比如何？
• RQ4 在LWF链图中，马尔可夫毯发现的并行化程度如何？这如何提升高维数据的可扩展性？
• RQ5 在小样本量或图结构非均匀稀疏的情况下，所提出框架是否仍能保持高精度和低结构误差率？

主要发现

• 在信仰性和因果充分性假设下，生长-收缩和IAMB算法在LWF链图中的马尔可夫毯发现中仍保持正确性。
• 所提出的MBC-CSP算法在性能上与LCD算法相当，在小样本和大样本设置下均取得了最佳的结构汉明距离（SHD）得分。
• 在小样本设置下，MBC-CSPLWF和LCD在SHD上表现最佳；在大样本设置下，MBC-CSPLWF、fdrIAMB和LCD表现最佳。
• 该框架支持马尔可夫毯的并行学习，显著提升了包含数十万变量的数据集的可扩展性。
• 通过利用局部性，该方法降低了结构误差率并提高了可靠性，优于或匹配全局基于约束的方法。
• 本研究表明，与全局方法相比，局部方法（如马尔可夫毯发现）在LWF链图的非均匀密集或稀疏区域中更具鲁棒性。