[论文解读] A simple way to assess inference methods

Bruno Ferman|arXiv (Cornell University)|Dec 18, 2019

Statistical Methods and Inference参考文献 50被引用 11

一句话总结

该论文提出了一种简单且实用的筛查程序，供应用研究者评估实证研究中推断方法的可靠性。通过检验标准渐近理论在有限样本中是否成立，该方法能够检测出推断中的缺陷——尤其是在少数处理聚类、转移共享设计以及聚类固定效应等情境下——从而在广泛采用时提升科学可靠性。

ABSTRACT

We propose that applied researchers consider simple procedures to assess whether inference methods are reliable. Such assessments can detect problems when the asymptotic theory that justifies an inference method is invalid and/or provides a poor approximation in a specific empirical application. We show that, despite their simplicity and limitations, such assessments have the potential of making scientific evidence more reliable, if widely used by applied researchers as a first screening. We analyze in detail the cases of Difference-in-Differences with few treated clusters, shift-share designs, weighted OLS, clustering with fixed effects, block bootstrap, stratified experiments, and matching estimators.

研究动机与目标

• 解决由于有限样本中渐近近似无效而导致的推断方法不可靠的广泛使用问题。
• 识别在推断方法中常见的陷阱，例如处理聚类较少的双重差分法、转移共享设计以及带固定效应的聚类。
• 提供一种实用且易于访问的筛查程序，研究者可在依赖标准误或p值之前应用该程序。
• 通过检测渐近理论在现实应用中何时失效，提升科学证据的可靠性。

提出的方法

• 提出一种基于模拟的简单筛查程序，以评估在特定实证情境下，渐近推断方法是否可信。
• 使用该程序检验在原假设下，给定方法所得的标准误或p值是否能得到良好近似。
• 将该方法应用于一系列常见估计量：处理聚类较少的双重差分法、转移共享设计、加权OLS、聚类固定效应、块自举法、分层实验和匹配估计量。
• 在原假设下进行模拟，以评估检验的名义大小是否与实际拒绝率一致。
• 利用该筛查方法检测渐近理论在小样本或复杂设计中失效的情况。
• 倡导将该方法作为依赖正式推断前的第一道诊断工具。

实验结果

研究问题

• RQ1 在哪些实证情境中，标准渐近推断方法会因有限样本近似不佳而失效？
• RQ2 应用研究者如何在不依赖复杂理论推导的情况下，检测推断方法是否不可靠？
• RQ3 像处理聚类较少的双重差分法或转移共享设计等常见方法，在多大程度上会产生误导性推断？
• RQ4 一种简单的基于模拟的筛查程序能否在多种实证设计中可靠地识别出问题推断？
• RQ5 当应用研究者常规使用该筛查程序时，它在多大程度上能提升科学证据的可靠性？

主要发现

• 所提出的筛查程序能有效检测出在常见实证情境中，渐近理论对有限样本分布的近似效果不佳的情况。
• 许多广泛使用的推断方法，包括处理聚类较少的双重差分法和转移共享设计中的方法，在原假设下表现出显著的大小扭曲。
• 该方法识别出当聚类数量或有效样本量较小时，标准误和p值可能具有误导性。
• 该筛查程序在多种估计量中均表现稳健，包括加权OLS、聚类固定效应和匹配估计量，揭示了推断中隐藏的缺陷。
• 当该方法被广泛采用时，可通过在报告前捕获无效推断，显著提升科学证据的可靠性。
• 该方法的简洁性提高了其在应用研究者中常规使用的可行性，从而推动更优的实证实践。