[論文レビュー] A Critical Look at the Consistency of Causal Estimation With Deep Latent Variable Models

Severi Rissanen, Pekka Marttinen|arXiv (Cornell University)|Feb 12, 2021

Bayesian Modeling and Causal Inference被引用数 6

ひとこと要約

本稿は、因果効果推定における深層潜在変数モデルの一貫性を批判的に評価し、因果効果変分オートエンコーダー（CEVAE）に焦点を当てる。有望な経験的結果が得られているものの、本研究は、モデルの誤特定または複雑なデータ分布下ではCEVAEが一貫した因果推定を生み出せないことを示しており、強い仮定なしにこのようなモデルに依存して信頼できる因果推論を行うことの根本的な限界を明らかにしている。

ABSTRACT

Using deep latent variable models in causal inference has attracted considerable interest recently, but an essential open question is their ability to yield consistent causal estimates. While they have demonstrated promising results and theory exists on some simple model formulations, we also know that causal effects are not even identifiable in general with latent variables. We investigate this gap between theory and empirical results with analytical considerations and extensive experiments under multiple synthetic and real-world data sets, using the causal effect variational autoencoder (CEVAE) as a case study. While CEVAE seems to work reliably under some simple scenarios, it does not estimate the causal effect correctly with a misspecified latent variable or a complex data distribution, as opposed to its original motivation. Hence, our results show that more attention should be paid to ensuring the correctness of causal estimates with deep latent variable models.

研究の動機と目的

• 未観測の交絡要因が存在する状況において、CEVAEのような深層潜在変数モデルが一貫した因果効果を推定できるかどうかを調査すること。
• CEVAEが信頼できる因果推定を生み出す条件と、それが失敗する条件を同定すること。
• 深層潜在変数モデルの因果推論における経験的成果と理論的一致性のギャップを埋めること。
• さまざまなデータ生成プロセス下で、合成データおよび実世界のデータセットに対するCEVAEの頑健性を評価すること。

提案手法

• 本研究は、潜在交絡要因zとプロキシ変数xを仮定する因果構造を組み込んだ標準VAEの拡張である因果効果変分オートエンコーダー（CEVAE）を事例として用いる。
• CEVAEは、p(x,t,y|z) = p(x|z)p(t|z)p(y|z,t)として結合分布をモデル化し、図1bの因果グラフに従って条件付き独立性を強制する。
• モデルは、x, t, yの再構成項と、p(z)へのKLダイバージェンスペナルティを含む変分下界（ELBO）を用いて訓練される。
• 因果効果p(y|do(t))は調整式を用いて推定される：p(y|do(t)) ≈ ∫ pθ(y|z,t)p(z)dz であり、学習済みパラメータを用いる。
• 線形・ガウス型およびバイナリのデータ生成プロセスを用いた合成データ、および実際のTwinsデータセットを用いた広範な実験が実施された。
• 各データセットに対して複数回の訓練を実施し、収束性、安定性、および最終損失と推定精度の関係を評価した。

実験結果

リサーチクエスチョン

• RQ1 標本サイズが増加する条件下で、CEVAEはどのような条件下で一貫した因果効果推定を生み出すのか？
• RQ2 大規模な標本サイズ下でも、特定のデータ生成プロセスではCEVAEが真の因果効果に収束しないのはなぜか？
• RQ3 最終トレーニング損失を、因果推定におけるモデル性能の信頼できる指標として用いることはどの程度可能か？
• RQ4 モデルの誤特定または複雑なデータ分布が、CEVAEの因果推定の信頼性にどのように影響するか？
• RQ5 精度および一貫性の観点から、CEVAEの推定結果は解析的手法や単純なモデルと比べてどの程度優れているか？

主な発見

• 50,000件の標本を用いてもTwinsデータセットではCEVAEが真の因果効果に収束しないことが判明し、複雑な実世界データ下での一貫性欠如を示している。
• 同じデータセットに対して複数回のトレーニングを実施した結果、因果推定値に顕著なばらつきが生じ、モデルが異なる局所最適解に陥っていることが示された。
• 最終ELBO損失が低いモデルが必ずしもより良い因果推定を生み出すわけではないため、損失をモデル選択基準として用いることは根拠に欠ける。
• 線形・ガウス型の設定では、標本サイズの増加に伴いCEVAEの推定は徐々に改善されるが、依然として解析的手法に比べて精度が低い。
• バイナリデータの設定では、解析的手法が十分なデータ量があれば正確に推定できるのに対し、CEVAEは一貫して誤った因果効果を推定している。
• 本研究は、CEVAEにおける「有効なモデル同定不能性」を同定した。これは、類似したトレーニング損失を示すにもかかわらず、複数の妥当なモデルが異なる因果推定値を生み出す状況を指す。