[論文レビュー] Causal Inference using Gaussian Processes with Structured Latent Confounders

Sam Witty, Kenta Takatsu+2 more|arXiv (Cornell University)|Jul 14, 2020

Advanced Causal Inference Techniques被引用数 13

ひとこと要約

本稿では、階層的データにおける因果効果推定を改善するために、ガウス過程事前分布を用いてオブジェクトレベルの潜在共変動要因をモデル化するベイジアン非パrametric手法であるGaussian Processes with Structured Latent Confounders (GP-SLC) を提案する。同じオブジェクト内に存在するインスタンス間で共通する共変動要因を活用することで、観察データが疎で、未観測の異質性が存在する状況においても、標準的手法よりもより正確な個別処置効果推定を達成する。

ABSTRACT

Latent confounders---unobserved variables that influence both treatment and outcome---can bias estimates of causal effects. In some cases, these confounders are shared across observations, e.g. all students taking a course are influenced by the course's difficulty in addition to any educational interventions they receive individually. This paper shows how to semiparametrically model latent confounders that have this structure and thereby improve estimates of causal effects. The key innovations are a hierarchical Bayesian model, Gaussian processes with structured latent confounders (GP-SLC), and a Monte Carlo inference algorithm for this model based on elliptical slice sampling. GP-SLC provides principled Bayesian uncertainty estimates of individual treatment effect with minimal assumptions about the functional forms relating confounders, covariates, treatment, and outcome. Finally, this paper shows GP-SLC is competitive with or more accurate than widely used causal inference techniques on three benchmark datasets, including the Infant Health and Development Program and a dataset showing the effect of changing temperatures on state-wide energy consumption across New England.

研究の動機と目的

• 同じオブジェクト内に複数のインスタンスが存在する場合に、それらに影響を与える未観測の共変動要因によって引き起こされる因果推定のバイアスを是正すること。
• 共変動要因、共変量、処置、結果の間の関数形に関する仮定を最小限に抑えた柔軟で、半パラメトリックなベイジアンアプローチの開発。
• ガウス過程を用いて構造的潜在共変動要因をモデル化することで、個別処置効果推定を向上させ、妥当な不確実性の定量化を可能にすること。
• 現実的な共変動構造を持つベンチマークデータセットにおいて、GP-SLCが広く用いられている因果推定手法を上回ることの実証。
• 楕円スライスサンプリングを用いたスケーラブルな推論フレームワークの提供により、不確実性を考慮した反実仮想予測を可能にすること。

提案手法

• GP-SLCは、オブジェクトレベルの潜在共変動要因（u）がインスタンスレベルの共変量（x）、処置（t）、結果（y）に影響を与える階層的構造的因果モデルを採用する。
• 共変動要因と共変量から処置および結果への関数にガウス過程事前分布を適用することで、未知の複雑な関係を非パラメトリックにモデル化可能となる。
• 結果は、共変動要因、共変量、処置を条件として、加法的ガウスノイズのもとで条件付き独立であると仮定する。
• 潜在共変動要因とモデルハイパーパramータを同時に推論するためのマルコフ連鎖モンテカルロ推論アルゴリズム（楕円スライスサンプリングに基づく）を用い、完全な事後分布推論を実現する。
• 結果のカーネル共分散行列は、処置、共変量、および推定された共変動要因を用いて構築され、事実的および反実仮想的結果の間の依存性を捉える。
• この手法は、反実仮想的結果間の共分散を自然に扱い、個別処置効果推定における不確実性の定量化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 同じオブジェクト内に複数のインスタンスが存在する場合に、それらに共通する構造的潜在共変動要因をモデル化することで、観察データにおける個別処置効果推定の正確性が向上するか？
• RQ2 未観測の共変動要因が存在するが、それがグループ内で構造的である場合、GP-SLCは標準的手法と比較してどのように性能を発揮するか？
• RQ3 潜在共変動要因の階層的構造は、すべてのインスタンスに対して共変動なしを仮定するモデルと比較して、因果推定のバイアスをどの程度低減するか？
• RQ4 データが疎またはノイズが多い状況において、GP-SLCは反実仮想的結果の不確実性をどの程度適切に定量化できるか？
• RQ5 GP-SLCは、連続的およびバイナリの処置を両方効果的にモデル化できるか、弱いパラメトリック仮定のもとでも柔軟性と頑健性を維持できるか？

主な発見

• GP-SLCは、Infant Health and Development Program およびニューエングランドのエネルギー消費データセットを含む3つのベンチマークデータセットにおいて、広く用いられている因果推定手法を上回った。
• Infant Health and Development Program データセットでは、GP-SLCは他の手法と比較して、個別処置効果推定における平均二乗誤差が低く抑えられ、精度の向上が確認された。
• エネルギー消費データセットでは、地域経済的・気候的要因による共変動が存在する状況でも、気温変化が州全体の電力消費に与える因果的影響をより正確に推定した。
• GP-SLCは、個別処置効果に対して妥当なベイジアン不確実性推定を生成し、データが少ない、または共変動が強い地域・個々の個人では不確実性が高くなる傾向を捉えた。
• 楕円スライスサンプリングの使用により、潜在共変動要因とハイパーパramータの事後分布推論が効率的に行われ、高次元設定下でもスケーラブルかつ頑健な推定が可能になった。
• GP-SLCは、共通する共変動要因を通じて事実的および反実仮想的結果の共分散を捉えることで、処置および共変量がインスタンス間で類似している場合でも、反実仮想予測の性能を向上させた。