[论文解读] Difference-in-Differences for Policy Evaluation

Brantly Callaway|arXiv (Cornell University)|Jan 1, 2022

Advanced Causal Inference Techniques被引用 4

一句话总结

本文综述了差异中的差异（DID）方法的最新进展，强调了在处理效应异质性和处理时间不一致的情况下，双向固定效应（TWFE）回归的局限性。文章提出了更稳健且更易实施的替代估计量，从而在政策评估中实现更优的因果推断，并通过实证示例和敏感性分析评估平行趋势假设的违反情况。

ABSTRACT

Difference-in-differences is one of the most used identification strategies in empirical work in economics. This chapter reviews a number of important, recent developments related to difference-in-differences. First, this chapter reviews recent work pointing out limitations of two way fixed effects regressions (these are panel data regressions that have been the dominant approach to implementing difference-in-differences identification strategies) that arise in empirically relevant settings where there are more than two time periods, variation in treatment timing across units, and treatment effect heterogeneity. Second, this chapter reviews recently proposed alternative approaches that are able to circumvent these issues without being substantially more complicated to implement. Third, this chapter covers a number of extensions to these results, paying particular attention to (i) parallel trends assumptions that hold only after conditioning on observed covariates and (ii) strategies to partially identify causal effect parameters in difference-in-differences applications in cases where the parallel trends assumption may be violated.

研究动机与目标

• 识别并解决在处理效应异质性条件下，差异中的差异（DID）应用中双向固定效应（TWFE）回归的关键局限性。
• 提出并评估近年来开发的、对异质性和处理时间不一致更具稳健性的替代估计量。
• 探讨平行趋势假设的作用，特别是当该假设仅在控制可观测协变量后成立时的情况。
• 探索当平行趋势假设可能被违反时，因果效应部分识别的策略。
• 通过实证应用和敏感性分析展示实际影响，特别是在最低工资和青少年就业研究中的应用。

提出的方法

• 提出一种替代DID估计量，通过按处理后时间分解处理效应，避免TWFE回归中固有的加权问题。
• 使用带有合适加权方案的事事件研究估计量，以恢复动态处理效应，即使在异质性条件下亦可实现。
• 应用敏感性分析技术，评估结果对平行趋势假设违反的稳健性。
• 在必要时，基于可观测协变量条件下的平行趋势假设，估计反事实路径。
• 利用软件实现的方法，如Callaway和Sant'Anna（2021）提出的估计量，适用于交错采用设计。
• 结合事前趋势分析与正式的敏感性分析，评估平行趋势假设的合理性。

实验结果

研究问题

• RQ1 在处理效应异质性和交错处理时间下，双向固定效应回归的表现如何？
• RQ2 在多时间点和异质处理效应的DID应用中，TWFE回归的关键局限性是什么？
• RQ3 在处理效应异质性的情境下，替代估计量是否能提供比TWFE回归更可靠的因果估计？
• RQ4 当平行趋势假设可能被违反时，研究人员如何评估DID结果的稳健性？
• RQ5 TWFE回归中的估计权重在多大程度上导致误导性比较，特别是对早期和晚期采纳者而言？

主要发现

• 当存在超过两个时间点且处理时间交错时，TWFE回归对处理效应异质性不具稳健性，导致估计量产生偏差，其权重组合可能具有误导性。
• 替代估计量如事件研究法和分组DID方法在处理效应异质性下能提供更准确且更易解释的处理效应估计。
• 在最低工资应用中，结果对是否包含2007年数据高度敏感，表明处理效应异质性显著影响估计影响。
• 敏感性分析显示，青少年就业的影响估计对平行趋势假设的违反不具稳健性，其置信区间范围为-0.073至0.023，与事前期间观察到的违反程度相当。
• 有相当一部分权重被分配给“不良比较”——即使用已处理单位作为对照组——凸显了需谨慎设计，如排除早期处理单位或处理后时期。
• 尽管在某些情况下点估计值相似，但TWFE与新方法之间的差异足够大，表明研究人员应优先采用更新、更稳健的方法。