[论文解读] Deep Multi-Modal Structural Equations For Causal Effect Estimation With Unstructured Proxies

Shachi Deshpande, Kaiwen Wang+3 more|arXiv (Cornell University)|Mar 18, 2022

Advanced Causal Inference Techniques被引用 4

一句话总结

本文提出深度多模态结构方程（DMSE），一种生成模型，通过使用非结构化的多模态代理变量（如图像、文本、时间序列）来推断未观测到的混杂因素，从而估计因果效应。通过将混杂因素建模为隐变量并利用变分推断，DMSE 在基因组学和医疗保健领域中提升了因果效应估计性能，在具有高维遗传和环境数据的全基因组关联研究（GWAS）任务中，优于基于倾向得分的方法。

ABSTRACT

Estimating the effect of intervention from observational data while accounting for confounding variables is a key task in causal inference. Oftentimes, the confounders are unobserved, but we have access to large amounts of additional unstructured data (images, text) that contain valuable proxy signal about the missing confounders. This paper argues that leveraging this unstructured data can greatly improve the accuracy of causal effect estimation. Specifically, we introduce deep multi-modal structural equations, a generative model for causal effect estimation in which confounders are latent variables and unstructured data are proxy variables. This model supports multiple multi-modal proxies (images, text) as well as missing data. We empirically demonstrate that our approach outperforms existing methods based on propensity scores and corrects for confounding using unstructured inputs on tasks in genomics and healthcare. Our methods can potentially support the use of large amounts of data that were previously not used in causal inference

研究动机与目标

• 解决当混杂因素未被观测到但存在图像、文本和时间序列等非结构化数据中的代理信号时，估计因果效应的挑战。
• 开发一种方法，利用丰富且多模态的代理数据，提升在传统倾向得分方法因高维或不稳定预测而失效的观察性研究中的因果效应估计性能。
• 通过将‘暗数据’——此前未使用的非结构化数据——建模为未观测混杂因素的代理变量，实现其在因果推断中的应用。
• 提供一种基于生成模型和变分推断的框架，支持缺失数据和高维处理变量，克服现有方法中的不稳定性。

提出的方法

• 该方法将混杂因素建模为隐变量，并使用多模态非结构化数据（如图像、文本、传感器数据）作为代理变量，以推断这些未观测到的混杂因素。
• 采用结构方程模型，其因果图表示为：x_j → z → t, y，其中 x_j 为代理变量，z 为隐混杂因素，t 为处理变量，y 为结果变量。
• 通过变分推断近似后验分布 p(z|x,t,y)，最小化包含重构损失和 KL 散度项的变分下界（ELBO）。
• 通过结合多模态代理变量重构和先验正则化的经验目标来优化 ELBO，实现端到端训练。
• 该框架支持对高维代理变量（如通过主成分分析或神经嵌入）进行降维，以确保当代理维度超过混杂因素维度时的可识别性。
• 其自然扩展至高维处理变量和不完整数据，使其适用于现实世界中的基因组学和医疗保健应用。

实验结果

研究问题

• RQ1 当混杂因素未被观测到时，能否有效利用非结构化的多模态数据（如图像、文本、传感器数据）来提升因果效应估计？
• RQ2 在高维且噪声较大的代理输入下，如何可靠地训练一种具有隐混杂因素和多种代理模态的生成模型？
• RQ3 在高维处理变量和不完整数据场景下，深度多模态结构方程是否能优于基于倾向得分的方法？
• RQ4 临床笔记或可穿戴传感器数据等‘暗数据’在多大程度上能提升基因组学和医疗保健领域的因果推断？
• RQ5 该模型对缺失数据是否具有鲁棒性，并能在代理变量高维且可能冗余的情况下识别因果效应？

主要发现

• 所提出的深度多模态结构方程在真实世界基因组学和医疗保健数据集上的因果效应估计中，优于现有的基于倾向得分的方法。
• 该方法成功利用可穿戴传感器时间序列和临床笔记等非结构化代理数据纠正混杂因素，提升了因果估计的准确性。
• 在全基因组关联研究（GWAS）中，通过利用高维遗传和环境代理数据，该模型比标准 GWAS 方法更准确地识别出因果遗传因素。
• 该模型的生成性质避免了倾向得分方法常出现的在 0 或 1 附近概率不稳定和校准错误的问题。
• 该框架使此前未使用的‘暗数据’（如医学影像和临床笔记）能够用于因果推断，显著扩展了因果分析可利用的数据范围。
• 实证结果表明，多模态代理信号——尤其是通过变分推断整合后——相比单模态或非生成方法，能带来更可靠和准确的因果效应估计。