[論文レビュー] Deep Multi-Modal Structural Equations For Causal Effect Estimation With Unstructured Proxies

Shachi Deshpande, Kaiwen Wang+3 more|arXiv (Cornell University)|Mar 18, 2022

Advanced Causal Inference Techniques被引用数 4

ひとこと要約

本稿では、未観測の交絡要因を推定するために、画像、テキスト、時系列データなどの非構造的マルチモodalプロキシを用いる生成モデルである深層マルチモーダル構造方程式（DMSE）を提案する。交絡要因を潜在変数としてモデル化し、変分推論を活用することで、遺伝学および医療分野における因果効果推定を改善し、高次元の遺伝的および環境的データを伴うGWASタスクにおいて、傾向スコアベースの手法を上回る性能を発揮する。

ABSTRACT

Estimating the effect of intervention from observational data while accounting for confounding variables is a key task in causal inference. Oftentimes, the confounders are unobserved, but we have access to large amounts of additional unstructured data (images, text) that contain valuable proxy signal about the missing confounders. This paper argues that leveraging this unstructured data can greatly improve the accuracy of causal effect estimation. Specifically, we introduce deep multi-modal structural equations, a generative model for causal effect estimation in which confounders are latent variables and unstructured data are proxy variables. This model supports multiple multi-modal proxies (images, text) as well as missing data. We empirically demonstrate that our approach outperforms existing methods based on propensity scores and corrects for confounding using unstructured inputs on tasks in genomics and healthcare. Our methods can potentially support the use of large amounts of data that were previously not used in causal inference

研究の動機と目的

• 交絡要因が未観測であるが、画像、テキスト、時系列データなどの非構造的データにプロキシ信号が存在する状況において、因果効果を推定する課題に対処すること。
• 従来の傾向スコア手法が高次元または不安定な予測により失敗する観察研究において、豊富なマルチモーダルプロキシデータを活用して因果効果推定を向上させる手法を開発すること。
• 未利用の「ダークデータ」——過去に使われなかった非構造的データ——を、未観測の交絡要因のプロキシ変数としてモデル化することで、因果推論に活用すること。
• 欠損データや高次元の処置変数を扱える生成的で変分推論に基づくフレームワークを提供し、既存のアプローチにおける不安定性を克服すること。

提案手法

• 交絡要因を潜在変数としてモデル化し、画像、テキスト、センサデータなどのマルチモーダルな非構造的データ（プロキシ変数）を用いて、未観測の交絡要因を推定する。
• 因果グラフ x_j → z → t, y を有する構造方程式モデルを採用する。ここで x_j はプロキシ、z は潜在的交絡要因、t は処置、y は結果を表す。
• 変分推論を用いて、p(z|x,t,y) の後部確率を近似する。この際、再構成誤差とKLダイバージェンスの項を含む変分下界（ELBO）を最小化する。
• ELBOは、マルチモーダルプロキシの再構成と事前分布の正則化を組み合わせた経験的目的関数として最適化され、エンドツーエンドの学習が可能になる。
• プロキシの次元数が交絡要因の次元数を上回る場合の同定可能性を保証するため、PCAやニューラル埋め込みなどを用いて高次元プロキシの次元削減を実施する。
• 高次元の処置変数や不完全なデータに対しても自然に拡張可能であり、実世界の遺伝学および医療応用に適している。

実験結果

リサーチクエスチョン

• RQ1 画像、テキスト、センサデータなどの非構造的マルチモーダルデータを、交絡要因が未観測である状況で、因果効果推定を改善するために効果的に活用できるか？
• RQ2 高次元でノイジーなプロキシ入力がある中で、潜在的交絡要因と複数のプロキシモダリティを持つ生成モデルを、信頼性を持って訓練できるか？
• RQ3 高次元の処置変数と不完全なデータを伴う状況において、深層マルチモーダル構造方程式は、傾向スコアベースの手法を上回る性能を示せるか？
• RQ4 臨床ノートやウェアラブルセンサデータなどの「ダークデータ」が、遺伝学および医療分野における因果推論をどの程度向上させられるか？
• RQ5 プロキシ変数が高次元で重複する可能性がある状況において、モデルは欠損データに対して頑健であり、因果効果を特定できるか？

主な発見

• 提案された深層マルチモーダル構造方程式は、実世界の遺伝学および医療データセットにおいて、既存の傾向スコアベースの手法を上回る因果効果推定性能を発揮する。
• ウェアラブルセンサの時系列データや臨床ノートなどの非構造的プロキシデータを用いて、交絡要因を効果的に補正し、因果推定の精度を向上させる。
• 全ゲノム関連解析（GWAS）において、高次元の遺伝的および環境的プロキシを活用することで、標準的なGWAS手法よりも因果関連遺伝因子をより正確に同定する。
• 生成的性質のおかげで、0または1に近い確率で不安定になりやすく、校正が不適切になる傾向スコア手法の欠陥を回避する。
• 医療画像や臨床ノートなどのこれまで使われなかった「ダークデータ」を因果推論に活用できるようになり、因果分析に利用可能なデータ量を著しく拡大する。
• 実験的結果から、特に変分推論を介して統合されたマルチモーダルプロキシ信号は、単一モダリティや非生成的アプローチに比べ、より信頼性が高く正確な因果効果推定をもたらすことが示された。