[论文解读] Markov Blanket Discovery using Minimum Message Length

Yang Li, Kevin B. Korb+1 more|arXiv (Cornell University)|Jul 16, 2021

Bayesian Modeling and Causal Inference参考文献 31被引用 5

一句话总结

本文提出三种基于最小消息长度（MML）评分的新型马尔可夫毯（MB）发现方法，以提升大规模数据集中的因果发现性能。表现最佳的MML方法在准确性和鲁棒性方面具有优势，尤其在高维和稀疏网络中表现优异，在多种基准网络的实证评估中，优于现有的特征选择与MB发现技术。

ABSTRACT

Causal discovery automates the learning of causal Bayesian networks from data and has been of active interest from their beginning. With the sourcing of large data sets off the internet, interest in scaling up to very large data sets has grown. One approach to this is to parallelize search using Markov Blanket (MB) discovery as a first step, followed by a process of combining MBs in a global causal model. We develop and explore three new methods of MB discovery using Minimum Message Length (MML) and compare them empirically to the best existing methods, whether developed specifically as MB discovery or as feature selection. Our best MML method is consistently competitive and has some advantageous features.

研究动机与目标

• 通过将局部马尔可夫毯（MB）发现作为局部到全局（LGL）学习框架的第一步，解决大数据中因果发现的可扩展性挑战。
• 开发并评估针对高维数据集的新型基于MML的MB发现算法，确保其准确性和高效性。
• 在多种基准网络上，通过实证比较评估所提出的MML方法与当前最先进的MB发现和特征选择算法。
• 研究在不同样本量和网络结构下，MB发现中计算效率、准确性和鲁棒性之间的权衡。

提出的方法

• 本文引入三种基于MML的模型，用于表示和学习马尔可夫毯，每种模型均编码目标变量与其潜在马尔可夫毯变量之间的条件独立结构。
• 每种模型均使用最小消息长度（MML）来平衡模型复杂度与数据拟合程度，最小化编码数据和模型所需的总消息长度。
• 第一种方法对整个MB结构使用完整的MML评分，而第二和第三种方法则对变量子集（包括父-子关系和配偶关系）应用MML，以提高效率。
• 算法采用贪心搜索策略，通过MML评分的改进，迭代地添加或移除候选MB中的变量。
• 该方法对所发现的MB施加对称性条件，以确保最终结构的一致性和正确性。
• 实证评估使用编辑距离比较发现的MB与真实MB，报告了在多个数据集和样本量下的95%置信区间。

实验结果

研究问题

• RQ1 基于MML的MB发现方法在准确性和效率方面，与现有基于约束和基于度量的MB发现算法相比如何？
• RQ2 样本量对不同网络拓扑下基于MML的MB发现性能有何影响？
• RQ3 MB大小如何影响基于MML的发现准确性，特别是在稀疏网络与密集网络中？
• RQ4 与穷举搜索方法相比，基于MML的MB发现能否在保持高准确性的同时降低计算复杂度？

主要发现

• 表现最佳的MML方法始终表现出具有竞争力的性能，在5000个样本的INSURANCE网络上F1得分为0.98±0.01，准确度优于其他方法。
• 在ALARM网络中，MML方法在5000个样本下达到F1得分为0.98±0.01，表明其在大规模数据集上具有高度的鲁棒性和稳定性。
• 对于30-5-4-1模型，在5000个样本下，MML方法达到F1得分为0.98±0.01，表明在高维条件下实现了近乎完美的MB恢复。
• 该方法在稀疏网络（如HAILFINDER）中表现强劲，在5000个样本下F1得分为0.70±0.02，优于基线方法，在信息量较低的环境中表现更优。
• MML方法在所有数据集中均保持了高精确率和高召回率，随着样本量增加，编辑距离显著降低，证实了其可扩展性和收敛性。
• 该方法在高维模型（如80-5-4-1）中表现出卓越的鲁棒性，在5000个样本下F1得分为0.62±0.02，优于其他方法，在复杂且稀疏的结构中表现更优。