[论文解读] DeepMatch: Balancing Deep Covariate Representations for Causal Inference Using Adversarial Training

Nathan Kallus|arXiv (Cornell University)|Feb 15, 2018

Domain Adaptation and Few-Shot Learning参考文献 24被引用 22

一句话总结

DeepMatch 提出了一种对抗性训练方法，用于在具有复杂高维数据（如图像）的观察性研究中，对因果推断的深度协变量表示进行平衡。通过联合优化权重网络和判别器，采用极小化极大训练，该方法在协变量平衡和统计一致性方面表现优异，优于基于神经网络表示的标准倾向得分和匹配方法。

ABSTRACT

We study optimal covariate balance for causal inferences from observational data when rich covariates and complex relationships necessitate flexible modeling with neural networks. Standard approaches such as propensity weighting and matching/balancing fail in such settings due to miscalibrated propensity nets and inappropriate covariate representations, respectively. We propose a new method based on adversarial training of a weighting and a discriminator network that effectively addresses this methodological gap. This is demonstrated through new theoretical characterizations of the method as well as empirical results using both fully connected architectures to learn complex relationships and convolutional architectures to handle image confounders, showing how this new method can enable strong causal analyses in these challenging settings.

研究动机与目标

• 解决标准因果推断方法（如倾向得分加权和匹配）在应用于高维或复杂协变量（如图像）时的失效问题。
• 克服深度神经网络在估计倾向得分时的不稳定性与校准偏差，这些偏差会损害双重稳健和基于加权的因果估计器。
• 开发一种方法，确保不仅在原始协变量中，而且在神经网络学习到的深度非线性表示中，实现最优协变量平衡。
• 提供一种统计一致且灵活的因果推断框架，利用深度学习的表征能力，同时保持处理组与对照组之间的平衡。

提出的方法

• 在权重网络与判别器网络之间构建极小化极大博弈，其中判别器用于识别处理组与对照组之间的不平衡。
• 提出一种基于判别器区分加权处理组与对照组能力的新型判别性差异度量。
• 采用类似生成对抗网络（GANs）的对抗性训练，通过交替梯度更新来优化使判别器难以检测不平衡的权重。
• 引入一种正则化目标函数，结合判别性差异度量与权重上的岭惩罚，以确保稳定性并防止过拟合。
• 理论上证明了在弱正则性条件下，该方法具有统计一致性，其收敛性保证基于凸优化与经验过程理论推导得出。
• 同时应用全连接网络与卷积神经网络以学习复杂表征，从而适用于基于图像的混杂因素场景。

实验结果

研究问题

• RQ1 对抗性训练能否用于实现深度神经网络学习到的高维非线性表示中的最优协变量平衡？
• RQ2 当协变量复杂或基于图像时，所提出的方法在平衡性和估计准确性方面与标准倾向得分加权和匹配方法相比如何？
• RQ3 当真实倾向得分因深度网络而出现误标定或校准偏差时，该方法是否仍能保持统计一致性与鲁棒性？
• RQ4 该方法能否扩展至使用卷积架构以处理观察性研究中的图像混杂因素？
• RQ5 该方法在高维设置下的一致性与收敛性属性的理论依据是什么？

主要发现

• 所提出的 DeepMatch 方法在无混淆性假设下实现了统计一致的因果估计，其估计量以速率 Op(Rn(F) + 1/√n) 收敛至真实的平均处理效应，其中 Rn(F) 为函数类的 Rademacher 复杂度。
• 实证结果表明，与标准倾向得分方法相比，DeepMatch 显著改善了协变量平衡，尤其在存在复杂非线性关系的场景中表现更优。
• 当使用卷积网络处理图像混杂因素时，DeepMatch 实现了传统方法因表示学习能力不足而失败的因果推断。
• 该方法对校准偏差的倾向得分表现出鲁棒性，因为对抗性训练框架不依赖于精确的概率估计。
• 理论分析确认，DeepMatch 的最优权重最小化了判别性差异度量，该度量被证明等价于最小化表示空间中的不平衡。
• 目标函数为凸函数，且满足强对偶性，确保在适当条件下（包括存在 Slater 点）解为全局最优。