[论文解读] Estimating Average Treatment Effects with Support Vector Machines

Alexander Tarr, Kosuke Imai|arXiv (Cornell University)|Feb 23, 2021

Advanced Causal Inference Techniques参考文献 43被引用 4

一句话总结

本文提出使用支持向量机（SVM）作为一种新颖方法来估计平均处理效应，通过将SVM的对偶系数作为基于核的平衡权重，以最小化最大均值差异（MMD）并最大化有效样本量。该方法提供了对卡迪纳尔性匹配的连续松弛，并可通过SVM路径算法高效探索平衡-样本量前沿，从而获得稳定、偏差减少的因果估计，其性能与最先进方法相当。

ABSTRACT

Support vector machine (SVM) is one of the most popular classification algorithms in the machine learning literature. We demonstrate that SVM can be used to balance covariates and estimate average causal effects under the unconfoundedness assumption. Specifically, we adapt the SVM classifier as a kernel-based weighting procedure that minimizes the maximum mean discrepancy between the treatment and control groups while simultaneously maximizing effective sample size. We also show that SVM is a continuous relaxation of the quadratic integer program for computing the largest balanced subset, establishing its direct relation to the cardinality matching method. Another important feature of SVM is that the regularization parameter controls the trade-off between covariate balance and effective sample size. As a result, the existing SVM path algorithm can be used to compute the balance-sample size frontier. We characterize the bias of causal effect estimation arising from this trade-off, connecting the proposed SVM procedure to the existing kernel balancing methods. Finally, we conduct simulation and empirical studies to evaluate the performance of the proposed methodology and find that SVM is competitive with the state-of-the-art covariate balancing methods.

研究动机与目标

• 开发一种基于支持向量机（SVM）的新方法，用于在观察性研究中估计平均处理效应（ATE）。
• 通过将SVM的对偶系数视为加权方案，建立SVM作为协变量平衡工具，以最小化最大均值差异（MMD）。
• 通过理论和算法洞察，将SVM与现有因果推断方法（包括卡迪纳尔性匹配和核最优匹配，KOM）相联系。
• 证明SVM正则化路径能够高效探索平衡-样本量前沿，有助于最优参数选择。

提出的方法

• 将软间隔SVM的对偶优化问题进行改造，以生成最小化处理组与对照组之间MMD的平衡权重。
• 将SVM的对偶系数用作基于核的权重，同时最大化有效样本量。
• 将SVM对偶问题解释为寻找最大平衡子集的二次整数规划的连续松弛，从而与卡迪纳尔性匹配建立直接联系。
• 利用现有的SVM路径算法，计算整个正则化路径上的解，生成平衡-样本量前沿。
• 通过证明SVM权重最小化因预后评分不平衡导致的最坏情况偏差，将该方法与核最优匹配（KOM）相联系。
• 利用路径算法分析协变量平衡与有效样本量之间的权衡，为稳健的参数选择提供依据。

实验结果

研究问题

• RQ1 SVM能否通过在观察性研究中实现协变量平衡来估计平均处理效应？
• RQ2 SVM对偶公式与匹配方法中寻找最大平衡子集的问题有何关联？
• RQ3 SVM正则化参数在平衡协变量平衡与有效样本量之间的权衡中起什么作用？
• RQ4 与最先进的加权和匹配方法相比，该方法在偏差、方差和稳健性方面表现如何？
• RQ5 SVM路径算法能否系统地探索并可视化因果推断中的平衡-样本量前沿？

主要发现

• SVM对偶系数生成的权重能够最小化处理组与对照组之间的最大均值差异（MMD），同时最大化有效样本量。
• SVM对偶问题是对寻找最大平衡子集的整数规划的连续松弛，从而与卡迪纳尔性匹配建立了直接联系。
• SVM中的正则化参数控制着协变量平衡与有效样本量之间的权衡，使得通过路径算法能够系统探索平衡-样本量前沿。
• 在模拟和实证分析中，SVM产生的ATE估计与KOM和CARD等最先进方法具有可比性，其中最平衡的解（SVMbalance）表现出更高的标准误和更宽的置信区间。
• SVM路径显示，正则化参数选择不当（如选择最平衡的解）可能导致样本过度修剪和估计不稳定，例如在RBF设置中，SVMbalance的95%置信区间与零重叠。
• 在多项式核和RBF核下，该方法在精度和效应估计稳定性方面优于KCB和CARD，而KOM在多项式情况下表现出更高的估计值但标准误更大。