[論文レビュー] Should We Condition on the Test for Pre-trends in Difference-in-Difference Designs?

Jonathan Roth|arXiv (Cornell University)|Apr 4, 2018

Advanced Causal Inference Techniques被引用数 2

ひとこと要約

本稿では、平行トレンドの事前検定を考慮した差の差（DiD）モデルの新たな推定および仮説検定手順を提案する。従来のDiD推定量は、有効な平行トレンド下では不偏であるが非効率的であることが示され、一方で事前トレンドが存在するが検出されない場合にはバイアスが増大することを示している。提案手法は、効率性を向上させるとともに、事前トレンド検定による選択バイアスを是正する。

ABSTRACT

The common practice in difference-in-difference (DiD) designs is to check for parallel trends prior to treatment assignment, yet typical estimation and inference does not account for the fact that this test has occurred. I analyze the properties of the traditional DiD estimator conditional on having passed (i.e. not rejected) the test for parallel pre-trends. When the DiD design is valid and the test for pre-trends confirms it, the typical DiD estimator is unbiased, but traditional standard errors are overly conservative. Additionally, there exists an alternative unbiased estimator that is more efficient than the traditional DiD estimator under parallel trends. However, when in population there is a non-zero pre-trend but we fail to reject the hypothesis of parallel pre-trends, the DiD estimator is generally biased relative to the population DiD coefficient. Moreover, if the trend is monotone, then under reasonable assumptions the bias from conditioning exacerbates the bias relative to the true treatment effect. I propose new estimation and inference procedures that account for the test for parallel trends, and compare their performance to that of the traditional estimator in a Monte Carlo simulation.

研究の動機と目的

• 事前トレンド検定に条件付けられたDiDデザインが推定量のバイアスおよび効率性に与える影響を調査すること。
• 事前トレンド検定を推定の前に実施する場合、従来のDiD推定量の仮説検定における限界を特定すること。
• DiDモデルにおける事前トレンド検定を適切に反映する新たな推定および仮説検定手順を開発すること。
• モンテカルロシミュレーションを用いて、有限標本における提案手法と従来のDiD推定量の性能を比較すること。

提案手法

• 本稿では、事前トレンド検定に合格した条件のもとでの従来のDiD推定量の有限標本分布を導出する。
• 平行事前トレンドの仮定の下で、従来のDiD推定量よりも不偏かつより効率的な新たな推定量を提案する。
• 標準誤差を事前検定手順に適応させることで、仮説検定における過剰な慎重さ（over-conservatism）を低減する。
• 事前トレンド検定の結果に条件づけた尤度ベースのアプローチを用いて、処置効果を推定する。
• 2段階推定フレームワークを用いる：まず事前トレンドの有無を検定し、その後、検定結果に応じて処置効果を条件付きで推定する。
• さまざまなデータ生成過程の下で、提案手法と従来のDiDの性能を比較するためにモンテカルロシミュレーションを用いる。

実験結果

リサーチクエスチョン

• RQ1 事前トレンド検定に合格した条件で推定量のバイアスおよび効率性に与える影響は何か？
• RQ2 実際には非ゼロの事前トレンドが存在するにもかかわらず、平行事前トレンドの帰無仮説が棄却されない場合、その影響は何か？
• RQ3 有効な平行事前トレンドのもとで、従来のDiD推定量よりも効率的である代替推定量を構築可能か？
• RQ4 単調な事前トレンドが存在するが検出されない場合、事前トレンド検定の結果に条件づけることでバイアスが増大するか？
• RQ5 従来の仮説検定と比較して、提案手法の標準誤差は、被覆率およびサイズの点でどのように異なるか？

主な発見

• 事前トレンド検定に合格した場合、従来のDiD推定量は不偏であるが、標準誤差が過剰に慎重になるため非効率的である。
• 平行事前トレンドの仮定のもとで、従来のDiD推定量よりも効率的である不偏な代替推定量が存在する。
• 非ゼロの事前トレンドが存在するが検出されない（帰無仮説が棄却されない）場合、DiD推定量は真の母集団処置効果に対して一般的にバイアスを示す。
• 単調な事前トレンドが存在し、ある程度の仮定のもとで、事前トレンド検定に条件づけることで生じるバイアスは悪化し、真の処置効果とのずれが大きくなる。
• 提案手法は、事前検定手順を適切に補正することで、有限標本においてより正確な仮説検定を実現し、被覆率を向上させ、サイズの歪みを低減する。
• モンテカルロシミュレーションの結果、さまざまなシナリオにおいて、提案手法は平均二乗誤差および仮説検定の正確性の点で従来のDiDを上回ることが確認された。