[论文解读] Beware of the Simulated DAG! Causal Discovery Benchmarks May Be Easy To Game

Alexander G. Reisach, Christof Seiler+1 more|arXiv (Cornell University)|Feb 26, 2021

Bayesian Modeling and Causal Inference参考文献 50被引用 24

一句话总结

这篇论文表明，在常见的仿真加性噪声模型中，边缘方差模式与因果顺序对齐（varsortability），使简单基线在原始数据上能够与先进的因果发现方法相匹配，但在标准化数据上表现不佳，从而对基准的有效性提出质疑。

ABSTRACT

Simulated DAG models may exhibit properties that, perhaps inadvertently, render their structure identifiable and unexpectedly affect structure learning algorithms. Here, we show that marginal variance tends to increase along the causal order for generically sampled additive noise models. We introduce varsortability as a measure of the agreement between the order of increasing marginal variance and the causal order. For commonly sampled graphs and model parameters, we show that the remarkable performance of some continuous structure learning algorithms can be explained by high varsortability and matched by a simple baseline method. Yet, this performance may not transfer to real-world data where varsortability may be moderate or dependent on the choice of measurement scales. On standardized data, the same algorithms fail to identify the ground-truth DAG or its Markov equivalence class. While standardization removes the pattern in marginal variance, we show that data generating processes that incur high varsortability also leave a distinct covariance pattern that may be exploited even after standardization. Our findings challenge the significance of generic benchmarks with independently drawn parameters. The code is available at https://github.com/Scriddie/Varsortability.

研究动机与目标

• 激发数据尺度和边际方差如何影响ANMs中的因果结构学习。
• 引入 varsortability，作为边际方差序与因果序之间对齐程度的度量。
• 展示高 varsortability 会导致连续结构学习算法在原始数据上表现良好，但在标准化后表现不佳。
• 提供一个简单的基线（sortnregress），用于量化 varsortability 对基准结果的影响。

提出的方法

• 将 varsortability 定义为有向路径中源节点方差小于目标节点方差的比例。
• 分析可识别性：varsortability = 1 意味着因果序可以从数据尺度识别。
• 在原始数据和标准化数据上比较组合型和连续型结构学习算法（PC, FGES, DirectLiNGAM, MSE-GDS, NOTEARS, GOLEM）。
• 展示基于 MSE 的分数的梯度行为，显示在高 varsortability 下对因果方向有利的不对称性。
• 提出 sortnregress 作为一个诊断性基线，它按边际方差排序并对前驱节点进行回归。

实验结果

研究问题

• RQ1 varsortability 如何影响加性噪声模型中因果序的可识别性？
• RQ2 连续型结构学习算法是否依赖数据尺度，标准化如何影响它们的性能？
• RQ3 一个利用边际方差的简单基线（sortnregress）是否能在原始合成数据上与最先进的方法相匹配？
• RQ4 当数据标准化或测量尺度变化时，基准结果如何改变？
• RQ5 标准化后仍然存在哪些协方差模式可以继续促成学习？

主要发现

• varsortability 在常见的 ANM 基准仿真中很高，从而使边际方差与因果顺序对齐。
• 当 varsortability 高时，连续方法（NOTEARS, GOLEM）可以在原始数据上还原真实 DAG，与简单基线（sortnregress）相匹配。
• 在标准化数据上，相同的算法未能识别真实 DAG 或其 MEC，尽管在原始数据上取得了初步成功。
• 标准化会消除边际方差模式，但数据生成过程引入的某些协方差结构在标准化后仍可能被利用。
• 一个简单的基线（sortnregress）在原始数据上与连续方法相匹配，并作为基准中 varsortability 的诊断工具。
• 真实世界数据（蛋白质信号Sachs 等）显示 varsortability 较低且不存在前述性能优势的一致模式。