[论文解读] Deep Learning Methods for Proximal Inference via Maximum Moment Restriction

Benjamin Kompa, David R. Bellamy+3 more|arXiv (Cornell University)|May 19, 2022

Statistical Methods and Inference被引用 4

一句话总结

本文提出神经最大矩约束（NMMR），一种用于近端推断的深度学习方法，通过最小化源自最大矩约束（MMR）框架的U-统计量或V-统计量损失，估计在未观测混杂因素下的因果效应。NMMR在近端推断基准测试中达到最先进性能，并提供理论一致性保证，优于基于核函数和神经网络的基线方法，尤其在代理变量存在高噪声时表现更优。

ABSTRACT

The No Unmeasured Confounding Assumption is widely used to identify causal effects in observational studies. Recent work on proximal inference has provided alternative identification results that succeed even in the presence of unobserved confounders, provided that one has measured a sufficiently rich set of proxy variables, satisfying specific structural conditions. However, proximal inference requires solving an ill-posed integral equation. Previous approaches have used a variety of machine learning techniques to estimate a solution to this integral equation, commonly referred to as the bridge function. However, prior work has often been limited by relying on pre-specified kernel functions, which are not data adaptive and struggle to scale to large datasets. In this work, we introduce a flexible and scalable method based on a deep neural network to estimate causal effects in the presence of unmeasured confounding using proximal inference. Our method achieves state of the art performance on two well-established proximal inference benchmarks. Finally, we provide theoretical consistency guarantees for our method.

研究动机与目标

• 解决现有近端推断方法依赖预设核函数的局限性，这些方法缺乏数据自适应性和可扩展性。
• 开发一种灵活且可扩展的深度学习框架，用于在存在未观测混杂因素时估计平均潜在结果。
• 在代理变量受噪声污染的情况下，提升因果效应估计的鲁棒性和效率。
• 为基于神经网络的近端推断方法提供理论一致性保证。
• 在标准基准上验证该方法，并展示在不同代理噪声水平下的优越性能。

提出的方法

• 提出一种单阶段深度神经网络方法NMMR，通过最小化源自最大矩约束（MMR）框架的U-统计量或V-统计量损失函数进行训练。
• 使用神经网络估计在近端识别假设下识别平均潜在结果所需的桥接函数。
• 采用随机梯度下降优化损失函数，实现对大规模数据集的可扩展性。
• 同时应用U-统计量和V-统计量公式，其中NMMR-V在代理噪声下表现出更强的鲁棒性。
• 通过深度网络实现数据自适应特征学习，克服了先前方法中固定核函数的局限性。
• 在标准正则条件下建立理论一致性保证，证明估计量的渐近有效性。

实验结果

研究问题

• RQ1 在未观测混杂因素下，深度神经网络能否有效用于估计近端推断中的桥接函数？
• RQ2 基于神经网络的MMR方法在近端推断设置下，与基于核函数和两阶段回归方法相比表现如何？
• RQ3 当代理变量受噪声污染时，所提出方法的鲁棒性在多大程度上得以保持？
• RQ4 与固定核方法相比，使用数据自适应神经网络是否能提升估计效率？
• RQ5 在近端推断框架中，基于深度学习的MMR估计量具有何种理论一致性特性？

主要发现

• 在Demand实验中，NMMR-V在所有噪声水平下均达到最低的因果均方误差（c-MSE），表明其对代理噪声具有卓越的鲁棒性。
• NMMR始终优于Naive Net基线方法，证实了U-统计量和V-统计量损失函数在提升估计精度方面的价值。
• 基于核函数的方法如KPV和PMMR在高噪声水平下表现改善，可能由于数据自适应性降低且方差减小。
• 出人意料的是，对Z代理变量（Z1, Z2）增加噪声反而使多种方法的c-MSE降低，表明噪声Z代理可能减少对信息量较少的代理的依赖，从而更聚焦于信息量更多的W代理。
• 在Demand模拟的72种噪声水平组合中，该方法表现出色，NMMR-V即使在最大噪声水平下也保持低误差。
• 在标准正则条件下，已建立NMMR估计量的理论一致性，支持其渐近有效性。