[论文解读] Estimation of Individual Treatment Effect in Latent Confounder Models via Adversarial Learning

Changhee Lee, Nicholas Mastronarde+1 more|arXiv (Cornell University)|Nov 21, 2018

Advanced Causal Inference Techniques参考文献 13被引用 12

一句话总结

该论文提出 CEGAN，一种新颖的对抗性学习框架，通过利用噪声代理变量，在存在潜在混杂因素的情况下估计个体处理效应（ITE）。通过采用带有去噪自编码器的双向生成对抗网络，CEGAN 能够准确恢复潜在混杂因素的后验分布，并在高代理噪声和强潜在混杂条件下显著优于最先进方法。

ABSTRACT

Estimating the individual treatment effect (ITE) from observational data is essential in medicine. A central challenge in estimating the ITE is handling confounders, which are factors that affect both an intervention and its outcome. Most previous work relies on the unconfoundedness assumption, which posits that all the confounders are measured in the observational data. However, if there are unmeasurable (latent) confounders, then confounding bias is introduced. Fortunately, noisy proxies for the latent confounders are often available and can be used to make an unbiased estimate of the ITE. In this paper, we develop a novel adversarial learning framework to make unbiased estimates of the ITE using noisy proxies.

研究动机与目标

• 解决在未测量（潜在）混杂因素导致观察数据偏差时估计个体处理效应（ITE）的挑战。
• 通过利用与潜在混杂因素相关的噪声代理变量，克服 ITE 估计中的混杂偏差。
• 开发一种鲁棒方法，即使在代理变量高度噪声或处理分配仅依赖于潜在混杂因素时，也能保持高精度。
• 通过对抗性学习建模代理变量与潜在混杂因素之间复杂非线性关系，改进现有方法。
• 在无需完全观测混杂因素的前提下实现无偏 ITE 估计，这在现实世界医学和社会科学数据中很常见。

提出的方法

• 提出一种双向生成对抗网络（CEGAN），通过对抗性训练联合学习后验分布 $ p({\bf z}|{\bf x}) $ 和 $ p({\bf y}|{\bf z},{\bf x},t) $。
• 采用共享编码器-解码器架构，结合重建网络和预测网络，通过 $ q_P({\bf y}|{\bf z},{\bf x},t) $ 和 $ q_I({\bf z}|{\bf x},t) $ 建模联合后验。
• 引入去噪自编码器组件，通过学习潜在混杂因素的更清晰表示，提升对噪声代理变量的鲁棒性。
• 使用对抗性损失进行模型训练，即使 $ {\bf z} $ 未被观测，也能使估计后验 $ q_I({\bf z}|{\bf x},t) $ 与真实后验 $ p({\bf z}|{\bf x}) $ 对齐。
• 通过 do- calculus 对学习到的后验进行积分，估计 ITE：$ {\rm ITE}({\bf x}) = \int p({\bf y}|{\bf z},{\bf x},t=1) p({\bf z}|{\bf x}) d{\bf z} - \int p({\bf y}|{\bf z},{\bf x},t=0) p({\bf z}|{\bf x}) d{\bf z} $。
• 使用 100 个后验样本的蒙特卡洛采样，计算 do-算子下的期望值，以实现稳健的 ITE 估计。

实验结果

研究问题

• RQ1 对抗性学习能否有效从观察数据中的噪声代理变量中恢复潜在混杂因素的后验分布？
• RQ2 当代理变量存在噪声或不完整时，ITE 估计性能在潜在混杂条件下如何退化？
• RQ3 在因未测量混杂因素导致无混杂性假设不成立时，所提出的 CEGAN 框架是否优于最先进方法？
• RQ4 与 CEVAE 或 CForest 等现有方法相比，CEGAN 在代理变量噪声增加时的鲁棒性如何？
• RQ5 在高代理噪声或处理分配仅依赖于潜在混杂因素等条件下，CEGAN 在何种情况下表现出更优性能？

主要发现

• 在无潜在混杂或代理噪声较小时，CEGAN 与最先进方法性能相当，$ \sqrt{\epsilon_{\text{PEHE}}} = 0.363 \pm 0.00 $ 且 $ \epsilon_{\text{ATE}} = 0.018 \pm 0.01 $。
• 在存在潜在混杂且代理噪声较高的情况下，CEGAN 显著优于所有基线方法，实现 $ \sqrt{\epsilon_{\text{PEHE}}} = 0.369 \pm 0.00 $ 和 $ \epsilon_{\text{ATE}} = 0.022 \pm 0.01 $，而 CEVAE 和 CForest 的误差更高。
• 在半合成 TWINS 数据集中，即使移除了真实混杂因素 'GESTAT'，CEGAN 仍保持低误差，表明其对信息丢失和潜在混杂具有鲁棒性。
• 当处理分配完全依赖于潜在混杂因素时（如 TWINS 设置中），CEGAN 的性能保持稳定且更优，尤其在高代理噪声下表现更佳。
• CEGAN 的去噪自编码器组件增强了鲁棒性，使得即使代理变量是潜在混杂因素的差指标，也能实现准确的 ITE 估计。
• 该方法在样本内和样本外性能上均表现出一致改进，且在 50 次重复实验中，方差低于 BART 和 CMGP 等基线方法。