[论文解读] Covariate Balancing Propensity Score by Tailored Loss Functions

Qingyuan Zhao|arXiv (Cornell University)|Jan 22, 2016

Advanced Causal Inference Techniques参考文献 58被引用 18

一句话总结

本文提出了一种新颖的框架，通过使用定制化损失函数——协变量平衡评分规则（CBSR）——来估计倾向得分，该方法直接优化协变量平衡而非似然。通过用针对目标 estimand（如ATE或ATUT）专门设计的损失函数替代标准的伯努利对数似然，CBSR在有限样本中实现了更优的平衡性和鲁棒性，确保选定协变量的精确平衡，并减少逆概率加权估计器中的偏差。

ABSTRACT

In observational studies, propensity scores are commonly estimated by maxi- mum likelihood but may fail to balance high-dimensional pre-treatment covariates even after specification search. We introduce a general framework that unifies and generalizes several recent proposals to improve covariate balance when designing an observational study. In- stead of the likelihood function, we propose to optimize special loss functions---covariate balancing scoring rules (CBSR)---to estimate the propensity score. A CBSR is uniquely determined by the link function in the GLM and the estimand (a weighted average treatment effect). We show CBSR does not lose asymptotic efficiency to the Bernoulli likelihood in estimating the weighted average treatment effect compared, but CBSR is much more robust in finite sample. Borrowing tools developed in statistical learning, we propose practical strategies to balance covariate functions in rich function classes. This is useful to estimate the maximum bias of the inverse probability weighting (IPW) estimators and construct honest confidence interval in finite sample. Lastly, we provide several numerical examples to demonstrate the trade-off of bias and variance in the IPW-type estimators and the trade-off in balancing different function classes of the covariates.

研究动机与目标

• 解决在使用传统倾向得分方法时，高维观察性研究中持续存在的协变量平衡不佳问题。
• 克服最大似然估计在平衡高维或非线性变换协变量方面的局限性。
• 构建一个统一框架，通过将损失函数与因果 estimand 直接对齐，推广近期协变量平衡方法。
• 通过减少偏差并构建诚实置信区间，改善逆概率加权（IPW）估计器的有限样本性能。
• 提供系统性方法，避免极端倾向得分和过大的逆概率权重，这些因素可能放大方差和偏差。

提出的方法

• 定义一类通用的损失函数——协变量平衡评分规则（CBSR）——其唯一由广义线性模型（GLM）中的链接函数和目标 estimand（如ATE、ATUT）决定。
• 用针对协变量平衡表现不佳情况（尤其是极端倾向得分）进行惩罚的定制化损失函数，替代标准的伯努利对数似然。
• 使用凸优化最小化定制化损失，确保在选定模型中对活跃协变量实现精确平衡。
• 利用统计学习工具（如正则化和核方法），在丰富函数类（如非线性变换）中平衡协变量函数。
• 通过基于所提损失的倾向得分估计，估计IPW估计器的最大偏差，从而构建诚实置信区间。
• 利用Beta族正规评分规则（如ATE对应的S_{-1,-1}），自然惩罚极端倾向得分，避免出现过大的逆概率权重。

实验结果

研究问题

• RQ1 与基于标准似然的方法相比，针对目标 estimand 定制的损失函数是否能在高维观察性研究中改善协变量平衡？
• RQ2 在渐近效率以及有限样本偏差与方差权衡方面，所提出的CBSR框架与最大似然方法相比表现如何？
• RQ3 定制化损失函数在多大程度上可防止极端倾向得分并减小逆概率权重的大小？
• RQ4 该框架能否在保持有限样本鲁棒性的前提下，推广至平衡复杂协变量函数类（如非线性变换）？
• RQ5 如何利用基于损失的倾向得分估计，为IPW估计器构建诚实置信区间？

主要发现

• 定制化损失函数方法在模型中实现了所有活跃协变量的精确平衡，如玩具示例所示，仅经过3步迭代，全部8个预测变量即实现平衡。
• 在Kang和Schafer（2007）的模拟中，伯努利似然未能将所有协变量的标准化差异降低至10%以下，而定制化损失函数在3步内即实现完全平衡。
• CBSR方法在渐近效率上与最大似然相当，但在有限样本中的表现和鲁棒性显著更优。
• 使用Beta族评分规则S_{-1,-1}（对应ATE）可自然惩罚极端倾向得分，因其在p=0和p=1附近损失无界，从而抑制大逆概率权重的出现。
• 在ATUT估计中，评分规则S_{-1,0}仅在p=0附近无界，这与在T_i=1时避免小倾向得分的期望行为一致。
• 该框架可通过基于损失的倾向得分模型估计IPW估计器的最大偏差，从而实现诚实置信区间的构建。