[论文解读] Evaluating Causal Models by Comparing Interventional Distributions

Dan Garant, David Jensen|arXiv (Cornell University)|Aug 16, 2016

Bayesian Modeling and Causal Inference参考文献 19被引用 7

一句话总结

本文提出不通过结构相似性（如SHD、SID）来评估因果模型，而是通过总变差（TV）距离比较估计的干预分布。研究表明，结构度量在评估模型质量时往往具有误导性，而TV距离更能准确反映参数精度，且与现实世界因果推断目标更加一致，尤其在复杂、真实的设定中表现更优。

ABSTRACT

The predominant method for evaluating the quality of causal models is to measure the graphical accuracy of the learned model structure. We present an alternative method for evaluating causal models that directly measures the accuracy of estimated interventional distributions. We contrast such distributional measures with structural measures, such as structural Hamming distance and structural intervention distance, showing that structural measures often correspond poorly to the accuracy of estimated interventional distributions. We use a number of real and synthetic datasets to illustrate various scenarios in which structural measures provide misleading results with respect to algorithm selection and parameter tuning, and we recommend that distributional measures become the new standard for evaluating causal models.

研究动机与目标

• 挑战结构相似性度量（如结构汉明距离SHD和结构干预距离SID）在因果模型评估中的主导地位。
• 证明结构度量常无法反映估计干预分布的真实准确性。
• 确立总变差（TV）距离作为因果发现算法更可靠且与应用对齐的评估指标。
• 识别影响合成数据集真实性和挑战性的关键属性，如网络密度、依赖强度和复杂函数关系。
• 表明常用合成数据集远比真实世界数据简单，从而削弱了标准评估协议的有效性。

提出的方法

• 提出将干预分布之间的总变差（TV）距离作为因果模型评估的主要指标。
• 使用TV距离比较从学习到的DAG估计的干预分布与真实干预分布之间的差异。
• 利用真实数据集（Postgres、JDK、HTTP）和合成数据集（Dirichlet、线性高斯、逻辑斯蒂）在不同结构和参数条件下评估模型性能。
• 调整合成数据生成方式，以提高网络密度、依赖强度和函数复杂度（如Dirichlet模型中的多项式CPT），使其更贴近真实世界的难度。
• 应用Tukey的HSD检验评估真实数据与合成数据集之间TV距离差异的统计显著性。
• 以TV为黄金标准比较不同算法在各数据集上的表现，揭示依赖SHD或SID时存在的不一致性。

实验结果

研究问题

• RQ1 SHD和SID等结构度量在多大程度上能预测估计干预分布的准确性？
• RQ2 在真实世界和合成设定中，结构度量在哪些方面未能反映因果模型的真实质量？
• RQ3 常用合成数据集在多大程度上低估了真实世界因果发现任务的难度？
• RQ4 网络密度、依赖强度和函数复杂度等数据生成属性中，哪些对因果模型学习难度影响最大？
• RQ5 TV距离能否作为因果发现算法比结构度量更可靠、更实用的评估指标？

主要发现

• SHD和SID等结构度量常误导研究者，因其对过度指定的惩罚不一致，且未考虑参数质量。
• TV距离与干预分布实际准确性的相关性显著高于SHD或SID，尤其在依赖强度变化时更为明显。
• 真实世界数据集（如Postgres）明显比合成数据集更具挑战性，TV距离的均值差异达1.17（p < 0.05，Tukey检验）。
• 仅含线性或逻辑斯蒂依赖的合成数据集明显比真实数据简单，表明评估真实度存在差距。
• 将处理节点出度提高至3–5，并使用复杂条件概率表（如Dirichlet模型中的CPT）可生成与真实数据难度相当的合成数据集。
• 基于Dirichlet的合成模型在高依赖强度和出度为5时，与Postgres相比TV差异为-0.93，表明其难度相当或更高。