[論文レビュー] Generalized Bayes for Causal Inference

Emil Javurek, Dennis Frauen+2 more|arXiv (Cornell University)|Mar 3, 2026

Bayesian Modeling and Causal Inference被引用数 0

ひとこと要約

この論文は因果推定量に事前分布を置き、同定駆動の損失で更新する一般化ベイズ枠組みを提案し、明示的な尤度なしで不確かさの定量化を可能にする。

ABSTRACT

Uncertainty quantification is central to many applications of causal machine learning, yet principled Bayesian inference for causal effects remains challenging. Standard Bayesian approaches typically require specifying a probabilistic model for the data-generating process, including high-dimensional nuisance components such as propensity scores and outcome regressions. Standard posteriors are thus vulnerable to strong modeling choices, including complex prior elicitation. In this paper, we propose a generalized Bayesian framework for causal inference. Our framework avoids explicit likelihood modeling; instead, we place priors directly on the causal estimands and update these using an identification-driven loss function, which yields generalized posteriors for causal effects. As a result, our framework turns existing loss-based causal estimators into estimators with full uncertainty quantification. Our framework is flexible and applicable to a broad range of causal estimands (e.g., ATE, CATE). Further, our framework can be applied on top of state-of-the-art causal machine learning pipelines (e.g., Neyman-orthogonal meta-learners). For Neyman-orthogonal losses, we show that the generalized posteriors converge to their oracle counterparts and remain robust to first-stage nuisance estimation error. With calibration, we thus obtain valid frequentist uncertainty even when nuisance estimators converge at slower-than-parametric rates. Empirically, we demonstrate that our proposed framework offers causal effect estimation with calibrated uncertainty across several causal inference settings. To the best of our knowledge, this is the first flexible framework for constructing generalized Bayesian posteriors for causal machine learning.

研究の動機と目的

• 因果機械学習における不確かさの定量化を動機付け、尤度ベースのベイズ手法の脆弱性に対処する。
• 因果推定量に先験を置き、損失ベースの更新を行う一般化ベイズ枠組みを提案する。
• Neyman直交損失の理論的保証を示し、ヌース設 estimation への頑健性を含む。
• ATE、CATE、および現代の因果MLパイプラインにわたる経験的な校正済み不確かさを実証する。

提案手法

• Gibbs/posterior q_n^S(θ|D_n) ∝ exp{−ω n L_n^S(θ; η^S)} π(θ) を識別駆動の損失 L_n^S を用いて定義する。
• ヌース推定を扱うため、η^S_0 および ŷ^S を用いたオラクルポスターおよび実現可能ポスターを導入する。
• 交差適合を用いてヌースを推定し、交差適合済みの経験的損失 L_n^S(θ; ŷ^S) を形成する。
• ブートストラップベースの手順で後方分布を校正し、頻度論的被覆を達成する。
• 後方の安定性を証明：Neyman直交損失の場合、実現可能後方はオラクル後方に漸近的に近づき、収束速度は O_P(√n) r_n^2、ここで r_n はヌース推定誤差である。
• 既存の因果ML推定量の上に実現可能な一般化後方を計算するアルゴリズム（Algorithm 1）を提供する。

Figure 1 : Overview of the pipeline for generalized Bayesian inference: In the standard causal ML pipeline, one observes the data $\mathcal{D}_{n}$ , chooses an identification-driven loss, estimates the corresponding nuisances, and thus constructs a fitting objective. Here, we further elicit a prior

実験結果

リサーチクエスチョン

• RQ1 因果推定量の不確かさの定量化を、明示的な尤度モデルなしに損失ベースの一般化ベイズ枠組みで実現できるか。
• RQ2 Neyman直交損失はヌース推定誤差に対して後方の頑健性を与え、Bernstein–von Mises型の保証を可能にするか。
• RQ3 一般化後方をどのように校正して実践的な因果MLパイプラインで頻度論的被覆を達成するか。
• RQ4 現代の正交メタ学習機であるような標準の推定量（ATEやCATE）に対して、 Frameworkはどのように機能するか。

主な発見

Strategy	Orthogonal	D1	D2	D3	D4	D5	D6	D7	D8	D9
RA	✗	0.580 (0.432-0.718)	0.520 (0.374-0.663)	0.480 (0.337-0.626)	0.680 (0.533-0.805)	0.580 (0.432-0.718)	0.080 (0.022-0.192)	0.300 (0.179-0.446)	0.460 (0.318-0.607)	0.420 (0.282-0.568)
IPW	✗	1.000 (0.929-1.000)	1.000 (0.929-1.000)	1.000 (0.929-1.000)	1.000 (0.929-1.000)	1.000 (0.929-1.000)	0.420 (0.282-0.568)	0.980 (0.894-0.999)	1.000 (0.929-1.000)	1.000 (0.929-1.000)
AIPW	✓	0.940 (0.835-0.987)	0.980 (0.894-0.999)	0.980 (0.894-0.999)	0.920 (0.808-0.978)	0.940 (0.835-0.987)	0.580 (0.432-0.718)	0.940 (0.835-0.987)	0.980 (0.894-0.999)	0.940 (0.835-0.987)

• 因果効果の一般化後方は尤度なしで実現可能であり、頻度論的被覆のために校正できる。
• Neyman直交損失の場合、ヌースが遅く収束しても、実現可能後方はオラクル後方に漸近的に近い。
• 理論的結果：総変動性での後方の収束速度は O_P(√n r_n^2) であり、交差適合下で、r_n = ||η^S − η_0^S|| → 0。
• ブートストラップによる校正は、後方の信頼区間を名目の頻度論的被覆と一致させる。
• 実証的な結果は、いくつかの因果推定設定と、DR-learner のような最先端の learner を用いて校正済みの不確かさを示している。

Figure 2 : CrI length for back-door ATE. Box plots of the lengths of the $95\%$ $\mathrm{CrI}^{(r)}_{0.95}$ credible interval across $R=50$ repetitions for each strategy $S\in\{\mathrm{AIPW,IPW,RA}\}$ , the dataset $\mathcal{D}_{1}$ , and a varying sample size $n\in\{100,\ldots,1000\}$ . Unfaithful