[论文解读] Beware of the Simulated DAG! Varsortability in Additive Noise Models.

Alexander G. Reisach, Christof Seiler+1 more|arXiv (Cornell University)|Feb 26, 2021

Bayesian Modeling and Causal Inference参考文献 21被引用 5

一句话总结

本文提出了 varsortability —— 一种衡量加性噪声模型中变量按边际方差排序与因果顺序之间对齐程度的指标。它表明，varsortability 在合成数据上的结构学习性能中具有显著影响，但在现实世界数据中却显得不切实际且无法检验，因此呼吁在基准测试中保持谨慎，并建议报告 varsortability 以揭示潜在的模拟伪影。

ABSTRACT

Additive noise models are a class of causal models in which each variable is defined as a function of its causes plus independent noise. In such models, the ordering of variables by marginal variances may be indicative of the causal order. We introduce varsortability as a measure of agreement between the ordering by marginal variance and the causal order. We show how varsortability dominates the performance of continuous structure learning algorithms on synthetic data. On real-world data, varsortability is an implausible and untestable assumption and we find no indication of high varsortability. We aim to raise awareness that varsortability easily occurs in simulated additive noise models. We provide a baseline method that explicitly exploits varsortability and advocate reporting varsortability in benchmarking data.

研究动机与目标

• 定义并形式化 varsortability，作为加性噪声模型中边际方差排序与因果顺序之间一致性的度量。
• 研究 varsortability 如何影响连续结构学习算法在合成数据上的性能。
• 挑战在真实世界数据中高 varsortability 是合理或可检验的假设这一观点。
• 提高人们对 varsortability 可能是模拟伪影而非真实因果系统普遍属性的认识。
• 倡导在基准测试中报告 varsortability，以提升因果结构学习研究的透明度和可复现性。

提出的方法

• 使用等级相关系数（例如 Kendall’s tau）量化 varsortability，比较因果顺序与按边际方差排序的变量顺序。
• 该方法在具有不同 varsortability 水平的加性噪声模型生成的合成数据上评估结构学习算法。
• 提出一种基线结构学习方法，通过将基于方差的变量排序作为先验，显式利用 varsortability。
• 通过分析真实世界数据集，评估高 varsortability 是否在经验上可观测，或仅为模拟伪影。
• 通过比较不同 varsortability 水平下的算法性能，隔离其对学习准确率的影响。
• 结合理论与实证分析，证明 varsortability 在合成环境中主导性能表现，但在真实数据中缺乏经验支持。

实验结果

研究问题

• RQ1 varsortability 在多大程度上解释了连续结构学习算法在合成加性噪声模型数据上的性能？
• RQ2 在真实世界数据集中，高 varsortability 是否是合理或可检验的假设？
• RQ3 varsortability 能否作为结构学习算法中可靠的归纳偏置被利用？
• RQ4 如果真实数据中不存在 varsortability，为何结构学习算法在合成数据上表现良好？
• RQ5 如何改进因果结构学习中的基准测试实践，以检测并报告 varsortability？

主要发现

• varsortability 是决定连续结构学习算法在合成数据上性能的主导因素，通常比其他结构属性更能解释准确率的方差。
• 在真实世界数据集中未观察到高 varsortability，表明其作为真实因果系统的假设不切实际。
• 结构学习算法在合成数据上的表现主要由 varsortability 的存在驱动，而这种特性可能无法推广到真实数据。
• 作者未在真实世界数据中发现高 varsortability 的经验证据，表明当前基准可能被此伪影过度优化。
• 一种利用 varsortability 的基线方法在合成数据上表现出色，证实其在模拟环境中的启发式有效性。
• 建议在基准测试中报告 varsortability，作为检测和减轻因果发现研究中模拟诱导偏差的必要步骤。