[论文解读] A Comparison of Public Causal Search Packages on Linear, Gaussian Data with No Latent Variables

Joseph Ramsey, Bryan Andrews|arXiv (Cornell University)|Sep 13, 2017

Bayesian Modeling and Causal Inference参考文献 9被引用 7

一句话总结

本论文在无潜变量的线性高斯、无环图模型上对五个公开的因果发现工具包——Tetrad（Java）、BNT（Matlab）、pcalg（R）和bnlearn（R）——进行了基准测试。基于270组数据集，涵盖不同样本量（100–1000）、变量数（50–500）和图密度（2–6），评估了邻接准确率、方向准确率及运行时间。Tetrad在结构恢复方面始终优于其他工具，尤其在高维设置下表现突出；bnlearn和pcalg在中等设置下表现良好，而BNT则明显更慢。

ABSTRACT

We compare Tetrad (Java) algorithms to the other public software packages BNT (Bayes Net Toolbox, Matlab), pcalg (R), bnlearn (R) on the \vanilla" task of recovering DAG structure to the extent possible from data generated recursively from linear, Gaussian structure equation models (SEMs) with no latent variables, for random graphs, with no additional knowledge of variable order or adjacency structure, and without additional specification of intervention information. Each one of the above packages offers at least one implementation suitable to this purpose. We compare them on adjacency and orientation accuracy as well as time performance, for fixed datasets. We vary the number of variables, the number of samples, and the density of graph, for a total of 27 combinations, averaging all statistics over 10 runs, for a total of 270 datasets. All runs are carried out on the same machine and on their native platforms. An interactive visualization tool is provided for the reader who wishes to know more than can be documented explicitly in this report.

研究动机与目标

• 为广泛使用的公开因果搜索工具包提供在标准化、现实基准任务下的直接对比。
• 在相同条件下评估邻接准确率与方向准确率、执行时间的性能差异。
• 为未来因果发现算法开发和工具选择建立基线。
• 提供一个交互式可视化工具，以探索表格摘要之外的详细结果。

提出的方法

• 从无潜变量的线性高斯结构方程模型中生成270组数据集，变量包括样本量（100、500、1000）、变量数（50、100、500）和平均图度数（2、4、6）。
• 使用前向顺序边添加法生成随机DAG，系数从(0.2, 0.9)中均匀随机抽取，误差方差从(1, 3)中抽取。
• 在相同机器和数据集上，于各工具原生平台（Java、Matlab、R）上运行算法，以确保公平比较。
• 使用邻接精确率（AP）、邻接召回率（AR）、邻接F1（AHP）、方向F1（AHR）、马尔可夫毯邻接度（McAdj）、马尔可夫毯箭头准确率（McArrow）和执行时间（E）衡量性能。
• 对每种配置独立运行10次，取平均值并整合为综合性数据集，用于交互式可视化。
• 使用基于网页的交互式工具，使用户能够超越静态表格，跨参数组合比较各算法表现。

实验结果

研究问题

• RQ1 在不同样本量和图大小下，Tetrad、BNT、pcalg和bnlearn在邻接与方向准确率方面表现如何？
• RQ2 在高维设置下（500个变量），哪个工具包实现了最高的结构恢复准确率（F1分数）？
• RQ3 各工具包的相对运行时间表现如何？其随样本量和图复杂度的增加如何变化？
• RQ4 结果在多次运行中的一致性如何？哪些算法表现出最稳定的性能？
• RQ5 在‘标准’因果发现任务中——即线性、高斯分布、无潜变量、无干预数据——哪个算法表现最佳？

主要发现

• Tetrad（Java）在所有配置下均取得最高的平均邻接F1（AHP）0.97和方向F1（AHR）0.92，尤其在变量数较多（500个变量）时表现优异。
• bnlearn（R）在500个变量和1000个样本下表现出色，平均McAdj达0.97，McArrow达0.87，在高维设置中优于大多数其他工具。
• pcalg（R）在500个变量和1000个样本下取得高邻接精确率（AP）0.99和召回率（AR）0.97，但运行时间较长（平均39.69秒），高于Tetrad（平均33.51秒）。
• BNT（Matlab）显著慢于其他工具，500个变量和1000个样本下的平均运行时间为71.41秒，且在部分配置中准确率较低（AP: 0.86, AR: 0.99）。
• Tetrad在方向准确率（AHR）和McArrow方面始终优于其他工具包，在500个变量和1000个样本下达到0.89，表明其箭头方向恢复能力更强。
• 交互式可视化工具显示，Tetrad和bnlearn在所有参数组合下均保持高准确率，而BNT和pcalg表现出更大波动，尤其在高维低样本条件下。