[論文レビュー] On the reliability of published findings using the regression discontinuity design in political science

Drew Stommes, Peter M. Aronow+1 more|arXiv (Cornell University)|Sep 29, 2021

Qualitative Comparative Analysis Research被引用数 4

ひとこと要約

本稿は、2009年から2018年までの主要ジャーナルに掲載された政治学分野の回帰不連続（RD）研究を分析することで、RD結果の信頼性を検証している。出版済みのRD推定値には、5%の有意水準閾値のわずか上位に病理的な集中（bunching）が見られ、これは検出力が低い研究と誤った推論手法—特に標準誤差の過小評価—に起因しており、再分析において最新の手法を用いても点推定値にほとんど変化がないにもかかわらず、統計的有意性が誇張されていることが明らかになった。

ABSTRACT

The regression discontinuity (RD) design offers identification of causal effects under weak assumptions, earning it a position as a standard method in modern political science research. But identification does not necessarily imply that causal effects can be estimated accurately with limited data. In this paper, we highlight that estimation under the RD design involves serious statistical challenges and investigate how these challenges manifest themselves in the empirical literature in political science. We collect all RD-based findings published in top political science journals in the period 2009-2018. The distribution of published results exhibits pathological features; estimates tend to bunch just above the conventional level of statistical significance. A reanalysis of all studies with available data suggests that researcher discretion is not a major driver of these features. However, researchers tend to use inappropriate methods for inference, rendering standard errors artificially small. A retrospective power analysis reveals that most of these studies were underpowered to detect all but large effects. The issues we uncover, combined with well-documented selection pressures in academic publishing, cause concern that many published findings using the RD design may be exaggerated.

研究の動機と目的

• 2009年から2018年までの主要政治学ジャーナルに掲載された回帰不連続（RD）研究の信頼性を評価すること。
• 報告されたt統計量に見られる病理的パターン（1.96のすぐ上に集中）が研究者の裁量によるものか、それともメソドロジカルな欠陥に起因するかを調査すること。
• 偏った標準誤差推定器などの不適切な推論手順が、統計的有意性の過大評価に寄与しているかどうかを評価すること。
• 出版バイアスと低い統計的パワーが、実証的文献を歪めている程度を検討すること。
• 最新の手法を用いて出版済みのRD研究を再分析し、元の発見の妥当性を評価すること。

提案手法

• 2009年から2018年までの間、*American Political Science Review*、*American Journal of Political Science*、*Journal of Politics* に掲載されたすべてのRDベースの研究を収集した。
• 元の研究が意味のある効果を検出できる統計的パワーを評価するため、後向きのパワー分析を実施した。
• 利用可能なデータを用いて、標準化された最新の手法（例：Calonico et al., 2015；Rにおけるrdrobustおよびrdhonestパッケージ）を用いて、すべての研究を再分析し、メソドロジカルな欠陥を是正した。
• 最新の標準誤差とバイアス補正推論手順を用いた再分析と比較して、元のt統計量とその差を検証した。
• 選択バイアスと有意性の過大評価の程度を可視化するために、ファンネルプロットとp値分布を用いた。
• バンド幅選択法（自動選択対非自動選択）を評価し、研究者の裁量が観察された集中の原因であるかどうかを検証した。

実験結果

リサーチクエスチョン

• RQ1 政治学分野の出版済みRD推定値は、一般的な5%有意水準閾値のわずか上位に病理的な集中を示しているか？
• RQ2 バンド幅選択における研究者の裁量が、t統計量に観察された集中の原因である程度はどの程度か？
• RQ3 最新の推論手法は、元の分析と比較してRD推定値の標準誤差と統計的有意性にどのように影響するか？
• RQ4 政治学におけるRD研究の統計的パワーはどの程度か？また、これは偽陽性の頻発とどのように関連しているか？
• RQ5 出版バイアスと検出力が低い研究が、文献における効果量の過大評価にどの程度寄与しているか？

主な発見

• 報告されたt統計量の分布には、1.96のすぐ上に顕著な集中が見られ、これは、一般的な有意水準にわずかに達した結果が系統的に過剰に報告されていることを示している。
• rdrobustおよびrdhonestを用いた再分析により、標準誤差は平均して増加し、t統計量はゼロに向かって左シフトした。これは、元の研究が統計的有意性を誇張していたことを示唆している。
• 自動バンド幅選択を用いた研究では、非自動選択のものよりもより顕著な集中が見られた。これは、バンド幅選択における研究者の裁量が、病理的パターンの主な要因ではないことを示している。
• 後向きパワー分析により、大多数の研究が、大きな効果以外を検出できるようには設計されていないことが判明し、偽陽性のリスクが高まっていることが明らかになった。
• 低パワーと誤った推論手順（特に標準誤差推定のバイアス）の組み合わせは、偽陽性のリスクを悪化させ、文献における偽発見率を高めている。
• メソドロジカルな欠陥を是正した後でも、点推定値はほとんど変化しなかったが、その精度は著しく低下した。これは、元の研究が有意性について過信していたことを示している。