[論文レビュー] Should We Adjust for the Test for Pre-trends in Difference-in-Difference Designs?

Jonathan Roth|arXiv (Cornell University)|Apr 3, 2018

Advanced Causal Inference Techniques被引用数 8

ひとこと要約

この論文は、真の前傾向が存在するが検出されない場合、特に前傾向テストに合格したのちの推論において、標準的な差の差（DiD）推定量がバイアスを示すことを示している。真の前傾向が存在するが検出されない場合、前傾向テストに合格したのちの推論において、DiD推定量がバイアスを示すことを示している。本稿では、前傾向テストの条件付き推論を補正する2つの新しい推定量——中央値不偏推定量および切り捨て正規信頼区間——を提案し、母集団で平行傾向が成り立たない場合でも有効な推論を回復する。

ABSTRACT

The common practice in difference-in-difference (DiD) designs is to check for parallel trends prior to treatment assignment, yet typical estimation and inference does not account for the fact that this test has occurred. I analyze the properties of the traditional DiD estimator conditional on having passed (i.e. not rejected) the test for parallel pre-trends. When the DiD design is valid and the test for pre-trends confirms it, the typical DiD estimator is unbiased, but traditional standard errors are overly conservative. Additionally, there exists an alternative unbiased estimator that is more efficient than the traditional DiD estimator under parallel trends. However, when in population there is a non-zero pre-trend but we fail to reject the hypothesis of parallel pre-trends, the DiD estimator is generally biased relative to the population DiD coefficient. Moreover, if the trend is monotone, then under reasonable assumptions the bias from conditioning exacerbates the bias relative to the true treatment effect. I propose new estimation and inference procedures that account for the test for parallel trends, and compare their performance to that of the traditional estimator in a Monte Carlo simulation.

研究の動機と目的

• 推論が前傾向テストに合格したことに条件づけられる場合、従来のDiD推定量が不偏かつ有効のまま保たれるかを調査すること。
• 真の前傾向が存在するが検出されない場合、前傾向検定に失敗したことに条件づけられた推論がDiD推定量のバイアスに与える影響を検討すること。
• DiDデザインにおける前傾向検定を考慮に入れた新たな推定および推論手順を開発すること。
• 平行傾向が成り立つ場合と成り立たない場合の両方において、調整済み推定量と従来のDiD推定量の性能を比較すること。
• 特に検定力が低い状況下で、研究者が前傾向検定に過度に依存しないよう警告すること。

提案手法

• 前傾向検定が帰無仮説（平行傾向）を棄却しなかったという事象を条件とする中央値不偏推定量を提案する。
• 前傾向検定の条件付き推論を補正するための切り捨て正規信頼区間（$CI^{TN}_{eta}$）を導入する。
• モンテカルロシミュレーションを用いて、平行傾向が成り立つ場合と成り立たない場合の両方において、調整済み推定量と従来推定量の性能を比較する。
• 前傾向の帰無仮説を棄却しなかったという条件下での従来DiD推定量の有限標本バイアスを導出する。このバイアスは、傾向が単調である場合に悪化することが示される。
• 前傾向が存在しないという仮定の下での最適な不偏推定量を導出し、これが従来のDiD推定量よりも有効であることを示す。
• 条件付き尤度フレームワークを用いて、前傾向検定の条件付き推論を維持する推定量および信頼区間を構築する。

実験結果

リサーチクエスチョン

• RQ1 推論が前傾向テストに合格したことに条件づけられる場合、従来のDiD推定量は不偏のまま保たれるか？
• RQ2 真の前傾向が存在するが検出されない場合、前傾向検定に失敗したことに条件づけられた推論がDiD推定量のバイアスに与える影響は何か？
• RQ3 前傾向検定の結果に条件づけられた状況下で、不偏かつ有効なカバレッジを持つ推定量を構築できるか？
• RQ4 前傾向検定の検出力が、実務におけるDiD推定の信頼性に与える影響は何か？
• RQ5 前傾向検定の条件付き推論を考慮に入れた調整済み推定量を用いる際の、精度と妥当性のトレードオフは何か？

主な発見

• 母集団で平行傾向が成り立つ場合、従来のDiD推定量は前傾向テストに合格したことに条件づけられた状況でも不偏であるが、標準誤差は過剰に保守的である。
• 平行傾向が成り立つ仮定の下では、従来のDiD推定量よりも有効性が高い代替の不偏推定量が存在する。
• 非ゼロの前傾向が存在するが検出されない（すなわち、前傾向検定が帰無仮説を棄却しない）場合、従来のDiD推定量は真の処置効果に対して一般にバイアスを示す。
• 単調な傾向が成り立つ場合、前傾向検定の結果に条件づけられたバイアスは、既存のバイアスを悪化させ、非条件づけられた場合よりもさらに誤解を招く結果となる。
• 提案された切り捨て正規信頼区間（$CI^{TN}_{eta}$）は、すべてのシミュレーションシナリオにおいて、母集団DiD係数に対して概ね名目水準のカバレッジを達成する。
• 前傾向期間が少ない場合、調整済み信頼区間の中央幅は従来の区間よりも大きいが、6期以上に条件づけられる場合、その差は縮まり、場合によっては逆転すらする。