[論文レビュー] BaCaDI: Bayesian Causal Discovery with Unknown Interventions

Alexander Hägele, Jonas Rothfuss+4 more|arXiv (Cornell University)|Jun 3, 2022

Bayesian Modeling and Causal Inference被引用数 5

ひとこと要約

BaCaDI は、未知の介入下での因果探索のための完全ベイズフレームワークを提案する。微分可能変分推論を用いて、因果構造、介入ターゲット、モデルパラメータを同時に推論する。限られたデータやモデル不適合の下でも、既存手法を上回る性能を発揮する。

ABSTRACT

Inferring causal structures from experimentation is a central task in many domains. For example, in biology, recent advances allow us to obtain single-cell expression data under multiple interventions such as drugs or gene knockouts. However, the targets of the interventions are often uncertain or unknown and the number of observations limited. As a result, standard causal discovery methods can no longer be reliably used. To fill this gap, we propose a Bayesian framework (BaCaDI) for discovering and reasoning about the causal structure that underlies data generated under various unknown experimental or interventional conditions. BaCaDI is fully differentiable, which allows us to infer the complex joint posterior over the intervention targets and the causal structure via efficient gradient-based variational inference. In experiments on synthetic causal discovery tasks and simulated gene-expression data, BaCaDI outperforms related methods in identifying causal structures and intervention targets.

研究の動機と目的

• 実験データにおいて介入ターゲットが不明または不確実な状況における因果構造学習の課題に対処すること。
• 因果構造、介入ターゲット、因果メカニズムのあらゆる分野におけるエピステーメ的不確実性を統合的にモデル化する原理的でベイズ的なアプローチを提供すること。
• 連続的かつ微分可能な因果ベイジアンネットワークおよび介入の表現を用いて、高次元システムにおけるスケーラブルな推論を可能にすること。
• 既存手法が介入を既知と仮定しているか、データ不足の下で失敗するという限界を克服すること。
• 特に生物学的・遺伝子発現の文脈において顕著なモデル不適合に強いフレームワークの開発

提案手法

• BaCaDI は、完全ベイズ的手法を用いて、因果構造、介入ターゲット、モデルパラメータの同時後確率推論問題として因果探索を定式化する。
• 勾配ベースの最適化を可能にするために、因果ベイジアンネットワーク（CBNs）および介入の両方の連続的・微分可能な表現を採用する。
• 複雑な同時後確率分布を近似するために、粒子ベースの変分推論とスティーブン・バリアンス・勾配降下法（SVGD）を用いる。
• 推論プロセスはスコア関数とカーネル化されたスティーブン・不一致を用い、粒子の位置を後確率の高確率領域へ段階的に更新する。
• バックプロパゲーションによるエンドツーエンドの学習をサポートし、構造および介入パラメータの両方の効率的最適化を可能にする。
• 複数の実験的文脈を同時にモデル化し、さまざまな未知の干渉条件で得られたデータから学習する

実験結果

リサーチクエスチョン

• RQ1 限られた干渉データから、未知の介入ターゲットと因果構造を同時にベイズフレームワークで推論できるか？
• RQ2 介入ターゲットにおけるエピステーメ的不確実性が因果構造の回復に与える影響は何か？ そして、その影響は適切に定量化可能か？
• RQ3 微分可能で勾配ベースの変分推論は、未知の介入を伴う高次元因果システムへも効果的にスケーリング可能か？
• RQ4 非線形的または複雑な依存関係を示す遺伝子発現データのような状況で、モデル不適合が生じた場合、BaCaDI はどのように性能を発揮するか？
• RQ5 低データ環境下で、構造と介入の同時推論は、逐次的または分離的推論アプローチを上回る性能を発揮するか？

主な発見

• 合成因果ベイジアンネットワークにおいて、限られたデータ下でも BaCaDI は既存手法を著しく上回り、真の因果構造を回復する。
• 介入ターゲットの未知性を考慮した場合、既知の介入を仮定するベースラインと比較して、BaCaDI はより優れた性能を発揮する。
• 現実的な遺伝子発現シミュレータを用いたシミュレーションでは、強いモデル不適合下でも BaCaDI は因果構造を効果的に回復した。
• データ不足に強く、他の手法が失敗または性能を低下させる状況でも、高い精度を維持する。
• 粒子ベースの SVGD 推論により、高次元設定下でもスケーラブルかつ効率的な後確率近似が可能である。
• 完全な不確実性伝搬を伴う同時ベイズ推論により、点推定や逐次的アプローチよりも信頼性が高く、キャリブレーションされた因果推定が得られる。