[論文レビュー] CausalBench: A Large-scale Benchmark for Network Inference from Single-cell Perturbation Data

Mathieu Chevalley, Yusuf Roohani+3 more|arXiv (Cornell University)|Oct 31, 2022

Advanced Causal Inference Techniques被引用数 7

ひとこと要約

CausalBench は、CRISPR を用いた単細胞RNA-Seq 実験から得られた 20万件を超える干渉的サンプルを用いて、実世界の単細胞干渉データ上で因果ネットワーク推定手法を評価する大規模でオープンなベンチマークを導入した。このベンチマークは、最先端の手法がしばしばスケーリングに失敗し、観測のみの手法を上回らないことが判明しており、合成ベンチマークの結果に基づく仮定に疑問を呈している。

ABSTRACT

Causal inference is a vital aspect of multiple scientific disciplines and is routinely applied to high-impact applications such as medicine. However, evaluating the performance of causal inference methods in real-world environments is challenging due to the need for observations under both interventional and control conditions. Traditional evaluations conducted on synthetic datasets do not reflect the performance in real-world systems. To address this, we introduce CausalBench, a benchmark suite for evaluating network inference methods on real-world interventional data from large-scale single-cell perturbation experiments. CausalBench incorporates biologically-motivated performance metrics, including new distribution-based interventional metrics. A systematic evaluation of state-of-the-art causal inference methods using our CausalBench suite highlights how poor scalability of current methods limits performance. Moreover, methods that use interventional information do not outperform those that only use observational data, contrary to what is observed on synthetic benchmarks. Thus, CausalBench opens new avenues in causal network inference research and provides a principled and reliable way to track progress in leveraging real-world interventional data.

研究の動機と目的

• 単細胞ゲノム解析における因果推定手法を評価するための信頼できる実世界ベンチマークの不足に対処すること。
• 大規模な干渉的単細胞データを用いた標準化され、スケーラブルな評価フレームワークを提供すること。
• 既存の因果推定手法が実際の生物学的システムに適用された際の性能ギャップを特定すること。
• 遺伝子調節ネットワークにおける真の因果関係の回復を反映する生物学的に意味のあるメトリクスを開発すること。
• 合成ベンチマークの仮定を検証するために、実際の干渉データ上で手法をテストすること。

提案手法

• CausalBench は、20万件を超える干渉的サンプルを含む、2つの大規模で公開済みの単細胞 CRISPR 干渉データセットを統合している。
• 強い干渉的効果の回復を評価し、因果エッジの省略を最小限に抑えるために、新しい分布に基づく干渉的メトリクスを導入している。
• 直接比較が可能なよう、15種類の最先端の因果的および非因果的ネットワーク推定手法のキュレート済み実装をベンチマークに含めている。
• サンプル数および干渉セットのサイズを変化させることで、スケーラビリティおよびロバストネスを評価している。
• すべての手法にわたる一貫した計算リソースおよびハイパーパramータチューニングを保証する標準化された評価プロトコルを採用している。
• 生物学的関連性を保証するため、既存の生物学的知識ベースと照合してメトリクスを検証している。

実験結果

リサーチクエスチョン

• RQ1 最先端の因果推定手法は、合成ベンチマークと比較して、実世界の単細胞干渉データ上でどの程度の性能を示すか？
• RQ2 実際の生物学的システムにおいて、干渉的データは因果ネットワーク推定の性能をどの程度向上させるか？
• RQ3 現在の因果推定手法は、大規模な単細胞データに適用された際、どの程度のスケーラビリティの制限に直面するか？
• RQ4 干渉を明示的にモデル化する手法は、観測データのみに依存する手法よりも、実世界の設定で優れた性能を示すか？
• RQ5 既存のメトリクスは、遺伝子調節ネットワークにおける生物学的に意味のある因果関係をどの程度適切に捉えているか？

主な発見

• 最先端の手法のうち、サンプル数および干渉の両方のスケーリングを達成したものはなく、すべてのサンプルや干渉を用いた場合でも性能向上は10％未満にとどまった。
• 干渉的データを組み込んだ手法が、観測のみの手法を上回らなかった。これは、合成ベンチマークの結果とは矛盾する。
• 実際の生物学的データでは、因果推定手法が非因果的ベースラインを一貫して上回らなかった。これは、手法の堅牢性にギャップがあることを示している。
• ベンチマークは、特に干渉数およびサンプル数の増加に伴い、既存のアルゴリズムのスケーラビリティの悪さを明らかにした。
• すべての手法の性能は、計算制約および干渉情報の最適でない活用によって制限を受けていた。
• CausalBench は、因果発見手法のより正確で生物学的に根拠のある評価を可能にし、新しいアルゴリズム開発の必要性を浮き彫りにした。