[論文レビュー] Active Bayesian Causal Inference

Christian Toth, Lars Lorch+5 more|arXiv (Cornell University)|Jun 4, 2022

Bayesian Modeling and Causal Inference被引用数 5

ひとこと要約

本稿では、逐次的実験設計を用いて、因果モデルと目的の因果的質問を同時に推論する完全ベイズ型アクティブラーニングフレームワーク、アクティブベイジアン因果推論（ABCI）を提案する。非線形加法的ノイズモデルをガウス過程でモデル化し、ベイジアン最適化を用いて質問に関する情報量の増加を最大化する干渉を選択することで、全般的な因果発見に特化したベースラインと比較して、データ効率性が高く、不確実性推定が良好にキャリブレーションされた結果を達成する。

ABSTRACT

Causal discovery and causal reasoning are classically treated as separate and consecutive tasks: one first infers the causal graph, and then uses it to estimate causal effects of interventions. However, such a two-stage approach is uneconomical, especially in terms of actively collected interventional data, since the causal query of interest may not require a fully-specified causal model. From a Bayesian perspective, it is also unnatural, since a causal query (e.g., the causal graph or some causal effect) can be viewed as a latent quantity subject to posterior inference -- other unobserved quantities that are not of direct interest (e.g., the full causal model) ought to be marginalized out in this process and contribute to our epistemic uncertainty. In this work, we propose Active Bayesian Causal Inference (ABCI), a fully-Bayesian active learning framework for integrated causal discovery and reasoning, which jointly infers a posterior over causal models and queries of interest. In our approach to ABCI, we focus on the class of causally-sufficient, nonlinear additive noise models, which we model using Gaussian processes. We sequentially design experiments that are maximally informative about our target causal query, collect the corresponding interventional data, and update our beliefs to choose the next experiment. Through simulations, we demonstrate that our approach is more data-efficient than several baselines that only focus on learning the full causal graph. This allows us to accurately learn downstream causal queries from fewer samples while providing well-calibrated uncertainty estimates for the quantities of interest.

研究の動機と目的

• 従来の2段階型因果発見と推論の非効率性、特に高コストなデータを要する完全な因果モデルの学習を是正すること。
• 因果モデルを潜在変数とみなして不要な構成要素を周辺化することで、エピステミック的不確実性を低減すること。
• 全モデル同定ではなく、下流の因果的質問に特化して最適化された実験設計を統合する統一フレームワークの構築。
• 全因果グラフの学習を無駄に避けるために、直接関心のある数量に干渉を集中させることで、データ効率性を向上させること。
• モデルと質問の事後分布を完全にベイジアンに取り扱うことで、因果的質問に対する良好にキャリブレーションされた不確実性推定を提供すること。

提案手法

• ABCIは、ガウス過程を用いて因果的十分性を持つ非線形加法的ノイズモデルをモデル化する。
• 微分可能ベイジアン構造学習（DiBS）を用いた連続的潜在グラフ表現により、DAG空間における勾配ベース最適化を可能にする。
• フレームワークは、目的の因果的質問に関する期待情報量の増加を最大化する干渉を選択するためにベイジアン最適化を採用する。
• 因果モデルと質問の事後分布推論にはモンテカルロサンプリングを実施し、全体のパイプラインにわたり不確実性を伝搬する。
• 実験設計と推論をループで統合する：干渉選択 → データ収集 → 事後分布更新 → 繰り返し。
• 目的の因果的質問は因果モデルの関数として形式化され、モデル事後分布に対する周辺化により質問事後分布が導出される。

実験結果

リサーチクエスチョン

• RQ1 特定の因果的質問に特化した、全因果グラフの学習よりもデータ効率の高い干渉を設計できるか？
• RQ2 因果モデルの一部のみを学習する際、関連する質問に特化した不確実性推定を良好に維持できるか？
• RQ3 因果グラフ全体の同定を優先するベースラインと比較して、関心の質問に特化した実験設計が優れた性能を示すか？
• RQ4 モデル誤り指定（例：線形対非線形）は、アクティブ因果推論の性能にどのように影響するか？
• RQ5 高次元かつ組み合わせ的グラフ空間において、ベイジアン最適化が干渉選択を効果的に導けるか？

主な発見

• ABCIは、スケールフリー・グラフ上での因果モデルと質問の学習において、観測的およびランダムベースラインを著しく上回り、構造的ハミング距離とカルバック・ライブラー・ダイバージェンスの両方で低い誤差を達成する。
• Erdős-Rényi グラフ上では、グラフ同定の難易度が上昇するため、ABCIの優位性が薄れる。これは構造的複雑性に感受することを示唆する。
• 非線形モデルではなく線形GPカーネルを用いることで、モデル不一致が生じ、性能が著しく低下する。これは、正しい関数形のモデル化の重要性を強調する。
• 質問固有の利得 $U_{\textsc{cr}}$ は、他の戦略と比較して、より低い質問KLDを達成しており、下流の因果的推論における優れたデータ効率性を示している。
• 事後分布推定の品質を向上させること（例：より多くのモンテカルロサンプルやベイジアン最適化の評価回数）により、ABCIの性能が向上する。これは、計算リソースの増加に伴いスケーラビリティが向上することを示唆する。
• ABCIは、因果モデルと質問の両方の事後分布を完全に維持することで、良好にキャリブレーションされた不確実性推定を提供し、点推定バイアスを回避する。