[论文解读] Adversarial Balancing for Causal Inference

Michal Ozery-Flato, Pierre Thodoroff+3 more|arXiv (Cornell University)|Oct 17, 2018

Machine Learning in Healthcare被引用 5

一句话总结

本文提出了一种用于因果推断的对抗性平衡框架，该框架基于生成对抗网络（GANs）的原理，通过双层优化生成平衡权重：判别器用于区分处理组与对照组，而权重生成器则使用指数梯度下降法最小化判别器的误差。该方法在多个基准测试中实现了最先进性能，对各类分类器均表现出鲁棒性，并且在估计精度上优于以往的重加权方法。

ABSTRACT

Biases in observational data of treatments pose a major challenge to estimating expected treatment outcomes in different populations. An important technique that accounts for these biases is reweighting samples to minimize the discrepancy between treatment groups. We present a novel reweighting approach that uses bi-level optimization to alternately train a discriminator to minimize classification error, and a balancing weights generator that uses exponentiated gradient descent to maximize this error. This approach borrows principles from generative adversarial networks (GANs) to exploit the power of classifiers for measuring two-sample divergence. We provide theoretical results for conditions in which the estimation error is bounded by two factors: (i) the discrepancy measure induced by the discriminator; and (ii) the weights variability. Experimental results on several benchmarks comparing to previous state-of-the-art reweighting methods demonstrate the effectiveness of this approach in estimating causal effects.

研究动机与目标

• 解决观测数据中处理组与对照组在协变量分布上存在差异的问题，这种差异会阻碍准确的因果效应估计。
• 开发一种新颖的重加权方法，利用对抗性训练原理最小化处理组之间的差异。
• 在双层优化框架中利用分类器作为差异度量，以生成稳定且方差低的平衡权重。
• 基于判别器性能和权重可变性，提供估计误差的理论边界。
• 通过交叉验证在多种基准上实证验证该方法，并证明其对分类器选择的鲁棒性。

提出的方法

• 该框架采用双玩家博弈机制：判别器被训练以区分个体属于处理组还是对照组，而权重生成器则通过重新加权训练样本以欺骗判别器。
• 权重生成器采用指数梯度下降法更新权重，确保权重保持归一化且接近均匀分布，从而最小化判别器的分类误差。
• 判别器的损失函数被用作处理组与对照组之间差异的度量，0-1损失构成一个积分概率度量（IPM）。
• 该方法被形式化为双层优化：先训练判别器，然后更新权重以最大化判别器的误差，形成反馈循环。
• 该框架可插拔任意分类器（如逻辑回归、SVM、MLP），并通过交叉验证选择模型以优化泛化能力。
• 理论分析表明，估计误差受判别器分类误差和权重可变性的约束，从而支持使用稳定且正则化的分类器。

实验结果

研究问题

• RQ1 能否将 GAN 中的对抗性训练原理适配于观测研究中因果推断的平衡权重生成？
• RQ2 分类器的选择如何影响对抗性平衡框架的性能与鲁棒性？
• RQ3 能否基于判别器性能和权重稳定性，为估计误差提供理论保证？
• RQ4 该方法是否在多种数据分布下均优于现有的重加权技术（如 IPW、CBPS 和 EBAL）？
• RQ5 交叉验证能否在不了解数据结构的前提下可靠地选择最优分类器作为判别器？

主要发现

• 对抗性平衡方法在所有三个基准测试（Kang-Schafer、Circular 和 ACIC）中均实现了最先进性能，多数情况下优于 CBPS、EBAL 和 MMD-V2。
• ADV-LR、ADV-SVM 和 ADV-MLP 变体在不同基准上分别取得最佳表现，表明其对数据特征具有强大适应能力。
• 交叉验证程序在每种情况下均选出了最优分类器，且采用自动选择分类器的对抗性方法整体排名第二，表明其具有极强鲁棒性。
• 该方法在减少估计方差和改善偏差校正方面显著优于 IPW 和其他重加权基线方法。
• 理论分析证实，估计误差受判别器分类误差和权重可变性的约束，验证了该方法设计的合理性。
• 指数梯度下降法有效生成了归一化且低方差的权重，从而最小化了判别器区分处理组的能力。