[論文レビュー] Multi-task Causal Learning with Gaussian Processes

Virginia Aglietti, Theodoros Damoulas+2 more|arXiv (Cornell University)|Sep 27, 2020

Gaussian Processes and Bayesian Inference参考文献 2被引用数 4

ひとこと要約

本稿では、構造的因果モデルにおける複数の介入に対して、ガウス過程を用いたマルチタスク因果推論フレームワークを提案する。ド計算と条件付き独立性を活用することで、共有される潜在的構造を介して、一括での介入効果推定を可能にする統一的因果作用素を導出する。これにより、ベースラインと比較して推定精度が顕著に向上する。

ABSTRACT

This paper studies the problem of learning the correlation structure of a set of intervention functions defined on the directed acyclic graph (DAG) of a causal model. This is useful when we are interested in jointly learning the causal effects of interventions on different subsets of variables in a DAG, which is common in field such as healthcare or operations research. We propose the first multi-task causal Gaussian process (GP) model, which we call DAG-GP, that allows for information sharing across continuous interventions and across experiments on different variables. DAG-GP accommodates different assumptions in terms of data availability and captures the correlation between functions lying in input spaces of different dimensionality via a well-defined integral operator. We give theoretical results detailing when and how the DAG-GP model can be formulated depending on the DAG. We test both the quality of its predictions and its calibrated uncertainties. Compared to single-task models, DAG-GP achieves the best fitting performance in a variety of real and synthetic settings. In addition, it helps to select optimal interventions faster than competing approaches when used within sequential decision making frameworks, like active learning or Bayesian optimization.

研究の動機と目的

• 複数の介入にわたる介入効果を一括で推定する統一的フレームワークを構築すること。
• ガウス過程を活用して、非線形的で複雑な介入分布の関係をモデル化するとともに、構造的一致性を維持すること。
• ド計算を用いて、複数の介入下での介入分布の正確な計算を可能にする統一的因果作用素を導出すること。
• 共有される潜在的構造を通じて関連する介入間で情報共有を行うことで、推定精度とサンプル効率を向上させること。

提案手法

• 本手法は、ド計算から導出された因果作用素を用いて、反事後変数および潜在的交絡要因の上での積分として介入分布を表現する。
• 介入関数 $ t_s(\mathbf{x}) = \mathbb{E}[Y \mid \text{do}(\mathbf{X}_s = \mathbf{x})] $ を、集合 $ \mathbf{I} $ および $ \mathbf{C}^N $ におけるド介入の階層的積分としてモデル化し、条件付き独立性の仮定を適用する。
• 介入関数にガウス過程の事前分布を適用することで、複雑な因果効果を非パラメトリックかつ柔軟にモデル化可能となる。
• 集合 $ \mathbf{C} $ に対して最小性条件を導入し、介入作用素に含めるべき必要な交絡要因のみが含まれることを保証する。
• 観測されない交絡要因 $ \mathbf{v}^N_s $ および $ \mathbf{c}^N_s $ を統合し、介入下での期待値を簡略化するために条件付き独立性を活用する。
• 因果作用素は $ \int f(\mathbf{v}, \mathbf{c}) p(\mathbf{c}^{I}_s|\mathbf{c}^{N}_s) p(\mathbf{v}^N_s, \mathbf{c}^N_s | \text{do}(\mathbf{X}_s = \mathbf{x})) d\mathbf{v}^N_s d\mathbf{c} $ として表現され、スケーラブルな推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 マルチタスクガウス過程フレームワークは、構造的因果モデルにおける複数の介入にわたる介入分布を正確に推定できるか？
• RQ2 ド計算を体系的に応用することで、一括介入推定に適した統一的因果作用素を導出できるか？
• RQ3 複数の介入下での介入分布の同定可能性を保証するための最小の交絡要因集合 $ \mathbf{C} $ は何か？
• RQ4 介入間で潜在的構造を共有することで、推定精度とサンプル効率はどのように向上するか？

主な発見

• 提案手法 $ \textsc{dag-gp}^+ $ は、合成DAGのすべてにおいて平均的に最小のRMSEを達成し、$ N = 500 $ 時に $ \textsc{dag}1 $ でRMSE 0.48、$ \textsc{dag}3 $ でRMSE 0.50、$ \textsc{dag}4 $ でRMSE 0.09を記録した。
• 標準的なGPおよびド計算ベースラインと比較して、著しく優れた性能を示し、$ \textsc{dag}1 $ および $ \textsc{dag}3 $ ではRMSEが20–30%低減し、$ \textsc{dag}4 $ では50%低減した。
• 集合 $ \mathbf{C} $ の最小性が証明された：$ \text{Pa}(Y) $ は同定可能性条件を満たす最小の集合であり、余分な交絡要因が含まれないことを保証する。
• 理論的導出により、因果作用素がド計算の規則に対して不変であることが確認され、介入推定の正しさが保証された。
• 本フレームワークは、合成データおよび医療分野の応用において、複雑な非線形の介入分布を効果的に扱い、再現繰り返しにおいて安定した収束と低分散を示した。