[论文解读] Deep Generalized Method of Moments for Instrumental Variable Analysis

Andrew Bennett, Nathan Kallus+1 more|arXiv (Cornell University)|May 29, 2019

Statistical Methods and Inference参考文献 33被引用 31

一句话总结

本文提出 DeepGMM，一种基于深度学习的工具变量（IV）分析方法，通过利用最优加权广义矩法（GMM）的变分重构，处理高维处理变量和工具变量。通过将 IV 估计建模为预测网络与判别网络之间的平滑博弈，DeepGMM 实现了稳定的因果估计，并在其他方法在计算或统计上失效的高维场景中表现更优。

ABSTRACT

Instrumental variable analysis is a powerful tool for estimating causal effects when randomization or full control of confounders is not possible. The application of standard methods such as 2SLS, GMM, and more recent variants are significantly impeded when the causal effects are complex, the instruments are high-dimensional, and/or the treatment is high-dimensional. In this paper, we propose the DeepGMM algorithm to overcome this. Our algorithm is based on a new variational reformulation of GMM with optimal inverse-covariance weighting that allows us to efficiently control very many moment conditions. We further develop practical techniques for optimization and model selection that make it particularly successful in practice. Our algorithm is also computationally tractable and can handle large-scale datasets. Numerical results show our algorithm matches the performance of the best tuned methods in standard settings and continues to work in high-dimensional settings where even recent methods break.

研究动机与目标

• 为解决传统 IV 方法（如 2SLS 和 GMM）在处理高维处理变量和工具变量时的局限性。
• 克服近期深度 IV 方法（如 DeepIV、AGMM）在高维场景中出现的计算与统计崩溃问题。
• 开发一种可扩展、可处理且一致的深度学习框架，用于在存在内生性时基于矩条件进行因果推断。
• 在高维或复杂工具变量场景中，通过神经网络实现复杂非线性因果效应的有效估计。

提出的方法

• 提出最优加权 GMM 的变分重构，实现对大量矩条件的高效处理。
• 将 IV 估计建模为预测网络（建模因果响应）与判别网络（评估矩条件）之间的平滑零和博弈。
• 采用乐观梯度下降法实现博弈的稳定优化，确保收敛至近似均衡。
• 在 GMM 目标函数中引入最优逆协方差加权，以提升统计效率。
• 在高维场景中引入实用的超参数选择与模型验证技术。
• 通过神经网络实现复杂因果效应的灵活建模，包括非参数与高维表示。

实验结果

研究问题

• RQ1 深度学习框架能否在工具变量分析中有效处理高维处理变量与工具变量？
• RQ2 如何将最优 GMM 加权高效地整合进可微分、可扩展的深度学习框架中？
• RQ3 所提出的预测网络与判别网络之间的平滑博弈公式是否能在复杂高维场景中产生一致且高效的因果估计？
• RQ4 该方法是否在低维与高维基准测试中均优于现有深度 IV 与基于 GMM 的方法？
• RQ5 该方法对高维 IV 估计中常见的计算失败与数值不稳定性是否具有鲁棒性？

主要发现

• DeepGMM 在所有测试场景中均达到最低的均方误差（MSE），包括低维与高维设置。
• 在 MNIST Z、MNIST X 和 MNIST X,Z 场景中，DeepGMM 超过所有其他方法，包括 DeepIV 和 Vanilla2SLS。
• 尽管 DeepIV 因高斯混合模型的局限性在高维场景中无法收敛，DeepGMM 仍保持稳定且计算上可行。
• AGMM 与 Poly2SLS 因溢出与计算不稳定性而无法运行，而 DeepGMM 成功处理了大规模图像数据集。
• DeepGMM 在其他近期深度 IV 方法已崩溃的高维场景中仍保持优异性能，展现出更强的可扩展性与鲁棒性。
• 该方法计算高效，成功处理了 28×28 的 MNIST 图像作为输入，表明其在真实世界高维数据中的适用性。