[论文解读] Adversarial Generalized Method of Moments

Greg Lewis, Vasilis Syrgkanis|arXiv (Cornell University)|Mar 19, 2018

Generative Adversarial Networks and Image Synthesis参考文献 13被引用 17

一句话总结

该论文提出对抗广义矩法（Adversarial Generalized Method of Moments, AGMM），一种深度学习框架，将GMM估计建模为模型者与对抗者之间的零和博弈，以在条件矩约束下学习神经网络表征。通过对抗训练（即对抗者识别违反的矩条件），该方法在非参数工具变量回归方面优于DeepIV和多项式展开的2SLS基线方法。

ABSTRACT

We provide an approach for learning deep neural net representations of models described via conditional moment restrictions. Conditional moment restrictions are widely used, as they are the language by which social scientists describe the assumptions they make to enable causal inference. We formulate the problem of estimating the underling model as a zero-sum game between a modeler and an adversary and apply adversarial training. Our approach is similar in nature to Generative Adversarial Networks (GAN), though here the modeler is learning a representation of a function that satisfies a continuum of moment conditions and the adversary is identifying violating moments. We outline ways of constructing effective adversaries in practice, including kernels centered by k-means clustering, and random forests. We examine the practical performance of our approach in the setting of non-parametric instrumental variable regression.

研究动机与目标

• 解决在有限样本下难以施加无限多个条件矩约束时，非参数GMM估计中矩条件选择的挑战。
• 通过将矩条件选择整合到模型训练过程中，实现深度神经网络表征的自适应学习，以支持因果推断。
• 通过利用对抗反馈来优化模型估计，克服传统GMM在高维或复杂场景下的局限性。
• 提供一种可泛化的因果推断框架，结合深度学习与计量经济学矩条件约束。
• 通过动态适应模型者当前的弱点，调整矩条件，提升非参数工具变量回归的估计精度。

提出的方法

• 将GMM估计建模为模型者（学习神经网络）与对抗者（识别违反的矩条件）之间的零和博弈。
• 使用随机梯度下降同时训练双方，其中模型者最小化GMM准则，对抗者则通过测试函数最大化该准则。
• 通过核方法（如k-means中心化高斯核）或集成模型（如随机森林）构建有效的对抗者，以检测矩条件违反。
• 应用对抗训练，基于对抗者识别出的最具信息量的矩约束，自适应地优化模型者的表征。
• 通过理论证明，在弱正则性条件下，该方法可识别出在样本外不显著违反矩条件的模型，从而确保泛化能力。
• 设计灵活的架构，使对抗者能够学习核的带宽和权重，或在高维场景下使用神经网络/随机森林。

实验结果

研究问题

• RQ1 对抗训练能否有效应用于GMM估计，以提升非参数因果推断性能？
• RQ2 如何将矩条件选择整合到深度学习模型中，以增强泛化能力并减少因果估计中的偏差？
• RQ3 模型者与对抗者之间的零和博弈设定，是否相比标准GMM或深度学习基线方法，能更优地识别因果效应？
• RQ4 不同对抗者架构（核函数、随机森林、神经网络）对AGMM框架的性能与稳定性有何影响？
• RQ5 AGMM在非参数工具变量回归中，相较于DeepIV和2SLS多项式展开等现有方法，其性能提升程度如何？

主要发现

• AGMM在非参数工具变量回归中显著优于DeepIV和2SLS多项式展开方法，尤其在弱至中等工具变量强度下表现更优。
• 在10个工具变量、0.5工具变量强度条件下，AGMM在'abs'函数测试中平均绝对误差为0.26（95%置信区间：-0.87至0.74），优于DeepIV（0.53）和2SLS（0.16）。
• 在'sigmoid'函数测试中，工具变量强度为0.7时，AGMM的误差为0.82（95%置信区间：0.34至0.96），优于DeepIV（0.82）和2SLS（0.88），表明其在非线性场景中表现强劲。
• 在'linear'函数测试中，工具变量强度为0.9时，AGMM的误差为0.97（95%置信区间：0.90至0.99），接近2SLS的最优值1.00，表明其接近最优性能。
• AGMM在多种函数类型（如阶跃函数、sin函数、3D多项式）下表现出鲁棒性，即使2SLS和2SLSpoly因模型误设而失效，AGMM仍保持高R²值（如0.90–0.98）。
• 该方法在样本外具有良好的泛化能力，理论证明表明，AGMM识别出的模型在有限样本中不会显著违反矩条件。