[论文解读] Differentially Private Estimation of Heterogeneous Causal Effects

Fengshi Niu, Harsha Nori+4 more|arXiv (Cornell University)|Feb 22, 2022

Advanced Causal Inference Techniques被引用 5

一句话总结

该论文提出了一种通用的元算法，通过样本分割和并行组合，实现对异质因果效应的差分隐私估计，以紧密控制隐私损失。研究发现，大多数差分隐私下的精度损失源于方差增加而非偏差，尤其在灵活的多阶段估计器（如DR-和R-learner）中更为显著，且在强隐私保护（ε=1）和小样本量下性能显著下降。

ABSTRACT

Estimating heterogeneous treatment effects in domains such as healthcare or social science often involves sensitive data where protecting privacy is important. We introduce a general meta-algorithm for estimating conditional average treatment effects (CATE) with differential privacy (DP) guarantees. Our meta-algorithm can work with simple, single-stage CATE estimators such as S-learner and more complex multi-stage estimators such as DR and R-learner. We perform a tight privacy analysis by taking advantage of sample splitting in our meta-algorithm and the parallel composition property of differential privacy. In this paper, we implement our approach using DP-EBMs as the base learner. DP-EBMs are interpretable, high-accuracy models with privacy guarantees, which allow us to directly observe the impact of DP noise on the learned causal model. Our experiments show that multi-stage CATE estimators incur larger accuracy loss than single-stage CATE or ATE estimators and that most of the accuracy loss from differential privacy is due to an increase in variance, not biased estimates of treatment effects.

研究动机与目标

• 开发一种通用的、具备差分隐私保障的元算法，用于估计条件平均处理效应（CATE）。
• 在差分隐私下支持单阶段（如S-learner）和多阶段（如DR、R-learner）CATE估计器的使用。
• 分析隐私（ε）与估计精度之间的权衡，尤其关注方差和偏差分量。
• 评估差分隐私对灵活且可解释模型（如DP-EBMs）在因果推断场景中的影响。
• 实证量化样本量和隐私预算对不同CATE估计方法性能的影响。

提出的方法

• 该元算法使用样本分割将干扰参数估计与处理效应估计解耦，从而实现差分隐私的并行组合。
• 对CATE估计中使用的基学习器（如DP-EBMs）应用差分隐私，确保端到端的隐私保障。
• 通过模块化集成，支持多种CATE估计器，包括S-learner（单阶段）、DR-learner和R-learner（多阶段）。
• 通过在分割数据子集间利用并行组合，节约隐私预算，降低累积隐私损失。
• 采用DP-EBMs——具备内置差分隐私的可解释、高精度模型——以直观观察噪声影响。
• 通过均方误差（MSE）评估估计精度，并将其分解为偏差和方差分量，以隔离隐私的影响。

实验结果

研究问题

• RQ1 如何设计一种通用的元算法，为单阶段和多阶段CATE估计器提供差分隐私保障？
• RQ2 差分隐私在CATE估计中对估计方差与偏差的增加程度如何？
• RQ3 在强隐私约束（如ε=1）下，灵活的多阶段CATE估计器（如DR、R-learner）相较于简单估计器的性能退化程度如何？
• RQ4 在不同隐私预算下，灵活CATE估计器要超过简单ATE估计器，所需样本量是多少？
• RQ5 在因果推断中，可解释的私有模型（如DP-EBMs）与标准机器学习模型在隐私-精度权衡上存在何种差异？

主要发现

• 在ε=1且n=500时，DP-EBM-S-learner的MSE稳定在约0.016，接近真实ATE的MSE，表明在强隐私下对简单ATE估计具有鲁棒性。
• 对于灵活估计器如DP-EBM-DR-learner和DP-EBM-R-learner，当n=500时，MSE从ε=16到ε=1增加了约1000倍，表明在小样本量下对隐私约束高度敏感。
• 当n=32000时，相同的隐私转变（ε=16到ε=1）使MSE增加不足10倍，表明在大样本量下精度损失的收益递减。
• DP-EBM-DR-learner的偏差从ε=16到ε=1最多增加2倍，而方差增加了约10倍，表明方差主导了精度损失。
• 只有当样本量超过约20,000时，灵活CATE估计器才能在强隐私（ε=1）下优于ATE估计器，凸显了隐私带来的显著数据成本。
• 本研究证实，CATE估计中的隐私-精度权衡主要由DP噪声导致的方差增加驱动，而非偏差估计，支持在高风险领域使用私有CATE模型。