[论文解读] An Automatic Finite-Sample Robustness Metric: Can Dropping a Little Data Change Conclusions?

Tamara Broderick, Ryan Giordano+1 more|arXiv (Cornell University)|Jan 1, 2020

Statistical Methods and Inference参考文献 5被引用 9

一句话总结

本文提出了近似最大影响扰动（AMIP）方法，这是一种计算高效的有限样本度量，用于识别在多少观测值被移除时，经济计量结果会发生显著变化。该方法提供了敏感性的精确下界，揭示了即使仅移除1%的数据，也可能在双参数回归中改变处理效应的符号——尽管标准误很小——突显了传统推断未能捕捉到的非稳健性。

ABSTRACT

We propose a method to assess the sensitivity of econometric analyses to the removal of a small fraction of the sample. Analyzing all possible data subsets of a certain size is computationally prohibitive, so we provide a finite-sample metric to approximately compute the number (or fraction) of observations that has the greatest influence on a given result when dropped. We call our resulting metric the Approximate Maximum Influence Perturbation. Our approximation is automatically computable and works for common estimators (including OLS, IV, GMM, MLE, and variational Bayes). We provide explicit finite-sample error bounds on our approximation for linear and instrumental variables regressions. At minimal computational cost, our metric provides an exact finite-sample lower bound on sensitivity for any estimator, so any non-robustness our metric finds is conclusive. We demonstrate that the Approximate Maximum Influence Perturbation is driven by a low signal-to-noise ratio in the inference problem, is not reflected in standard errors, does not disappear asymptotically, and is not a product of misspecification. Several empirical applications show that even 2-parameter linear regression analyses of randomized trials can be highly sensitive. While we find some applications are robust, in others the sign of a treatment effect can be changed by dropping less than 1% of the sample even when standard errors are small.

研究动机与目标

• 为解决在移除小部分数据时，评估经济计量结果有限样本稳健性的问题。
• 开发一种计算上可行的替代方法，以替代穷举子集分析，用于衡量对数据扰动的敏感性。
• 为任何估计器（包括OLS、IV、GMM、MLE和变分贝叶斯）提供有限样本敏感性的精确下界。
• 证明非稳健性并非源于模型误设、小样本量或高标准误，而是源于低信噪比。
• 通过实证验证该度量在现实应用中检测高敏感性的能力，包括处理效应较小的随机化试验。

提出的方法

• 近似最大影响扰动（AMIP）度量通过避免对所有子集进行完整枚举，近似小部分观测值对给定估计器结果的最大影响。
• 该方法使用一种计算高效的算法，识别出移除后会使估计器输出发生最显著变化的最小观测子集。
• 对于线性和工具变量回归，本文推导了AMIP近似的有限样本误差界，确保其可靠性。
• 该度量设计为可自动计算，并适用于广泛的估计器，包括经典方法和贝叶斯方法。
• 该方法提供敏感性的精确有限样本下界，意味着所检测到的非稳健性是确凿的，而非计算伪影。
• 该方法对模型设定保持中立，不依赖渐近近似或标准误估计。

实验结果

研究问题

• RQ1 在双参数线性回归中，是否仅移除1%左右的数据，就能显著改变处理效应的符号或大小？
• RQ2 所观察到的数据移除敏感性是源于模型误设，还是推断问题本身的结构性特征？
• RQ3 我们能否为常见估计器计算出一个既精确又计算可行的有限样本敏感性下界？
• RQ4 AMIP检测到的敏感性是否会随着样本量增大而消失，还是在所有样本规模下均持续存在？
• RQ5 敏感性在多大程度上由低信噪比驱动，而非标准误或估计不确定性？

主要发现

• 即使在随机化试验的双参数线性回归模型中，移除少于1%的样本，也可能导致处理效应符号的反转。
• AMIP度量检测到的非稳健性未反映在标准误中，表明传统推断可能具有误导性。
• AMIP识别出的敏感性并非模型误设或有限样本偏差的产物，而是源于数据中低信噪比。
• AMIP检测到的非稳健性在渐近下依然持续，意味着增加样本量无法解决该问题。
• 对于线性和工具变量回归，AMIP近似具有明确的有限样本误差界，确保了检测到的敏感性的可靠性和确凿性。
• 实证应用表明，尽管部分分析具有稳健性，但其他分析则表现出极端敏感性——凸显了在标准误之外进行常规敏感性检验的必要性。