[论文解读] CausalBench: A Large-scale Benchmark for Network Inference from Single-cell Perturbation Data

Mathieu Chevalley, Yusuf Roohani+3 more|arXiv (Cornell University)|Oct 31, 2022

Advanced Causal Inference Techniques被引用 7

一句话总结

CausalBench 引入了一个大规模、公开的基准，用于在真实世界单细胞干扰数据上评估因果网络推断方法，使用来自基于 CRISPR 的单细胞测序实验的超过 200,000 个干扰样本。结果表明，最先进方法通常无法扩展，且表现不如仅基于观察数据的方法，这挑战了从合成基准结果中得出的假设。

ABSTRACT

Causal inference is a vital aspect of multiple scientific disciplines and is routinely applied to high-impact applications such as medicine. However, evaluating the performance of causal inference methods in real-world environments is challenging due to the need for observations under both interventional and control conditions. Traditional evaluations conducted on synthetic datasets do not reflect the performance in real-world systems. To address this, we introduce CausalBench, a benchmark suite for evaluating network inference methods on real-world interventional data from large-scale single-cell perturbation experiments. CausalBench incorporates biologically-motivated performance metrics, including new distribution-based interventional metrics. A systematic evaluation of state-of-the-art causal inference methods using our CausalBench suite highlights how poor scalability of current methods limits performance. Moreover, methods that use interventional information do not outperform those that only use observational data, contrary to what is observed on synthetic benchmarks. Thus, CausalBench opens new avenues in causal network inference research and provides a principled and reliable way to track progress in leveraging real-world interventional data.

研究动机与目标

• 为解决单细胞基因组学中因果推断方法缺乏可靠、真实世界基准的问题。
• 通过大规模干扰单细胞数据，提供一个标准化、可扩展的评估框架。
• 识别现有因果推断方法在真实生物系统中应用时的性能差距。
• 开发反映基因调控网络中真实因果关系恢复情况的生物上有意义指标。
• 通过在真实干扰数据上测试方法，挑战来自合成基准的假设。

提出的方法

• CausalBench 整合了两个大规模、公开可用的单细胞 CRISPR 干扰数据集，包含超过 200,000 个干扰样本。
• 引入基于分布的新颖干扰指标，以评估强干扰效应的恢复情况，并最小化因果边的遗漏。
• 该基准包含 15 种最先进因果与非因果网络推断方法的精心整理实现，支持直接比较。
• 在不同样本量和干扰集大小下评估性能，以评估可扩展性和鲁棒性。
• 采用标准化评估协议，确保所有方法在计算资源和超参数调优方面的一致性。
• 通过与现有生物知识库对比，验证指标的生物相关性。

实验结果

研究问题

• RQ1 与合成基准相比，最先进因果推断方法在真实世界单细胞干扰数据上的表现如何？
• RQ2 在真实生物系统中，干扰数据在多大程度上提升了因果网络推断的性能？
• RQ3 当前因果推断方法在应用于大规模单细胞数据时，其可扩展性限制是什么？
• RQ4 在真实世界环境中，明确建模干扰的方法是否优于仅依赖观察数据的方法？
• RQ5 现有指标在多大程度上能捕捉基因调控网络中生物上有意义的因果关系？

主要发现

• 没有一种最先进方法同时实现了样本和干扰的可扩展性，当使用 100% 的样本或干扰时，性能提升不足 10%。
• 包含干扰数据的方法并未优于仅使用观察数据的方法，这与合成基准的结果相矛盾。
• 因果推断方法在真实生物数据上并未始终优于非因果基线，表明方法鲁棒性存在差距。
• 该基准揭示了现有算法在可扩展性方面的不足，尤其是在干扰数量和样本数量增加时。
• 所有方法的性能均受到计算资源限制和干扰信息利用不足的制约。
• CausalBench 使得因果发现方法的评估更加准确且具有生物学基础，凸显了对新算法开发的迫切需求。