[论文解读] An Automatic Finite-Sample Robustness Metric: When Can Dropping a Little Data Make a Big Difference?

Tamara Broderick, Ryan Giordano+1 more|arXiv (Cornell University)|Nov 30, 2020

Monetary Policy and Economic Impact被引用 15

一句话总结

本文提出了近似最大影响扰动（AMIP），这是一种有限样本鲁棒性度量，用于量化移除少量数据（例如 <1%）对计量经济学模型中经验结论的影响程度。通过使用影响函数的高效近似方法，AMIP 能够识别出最具影响力的样本子集，并提供有限样本误差界，揭示即使在标准误较小的情况下，微小的数据变动仍可能逆转一些具有影响力的经济学论文的结论。

ABSTRACT

Study samples often differ from the target populations of inference and policy decisions in non-random ways. Researchers typically believe that such departures from random sampling -- due to changes in the population over time and space, or difficulties in sampling truly randomly -- are small, and their corresponding impact on the inference should be small as well. We might therefore be concerned if the conclusions of our studies are excessively sensitive to a very small proportion of our sample data. We propose a method to assess the sensitivity of applied econometric conclusions to the removal of a small fraction of the sample. Manually checking the influence of all possible small subsets is computationally infeasible, so we use an approximation to find the most influential subset. Our metric, the "Approximate Maximum Influence Perturbation," is based on the classical influence function, and is automatically computable for common methods including (but not limited to) OLS, IV, MLE, GMM, and variational Bayes. We provide finite-sample error bounds on approximation performance. At minimal extra cost, we provide an exact finite-sample lower bound on sensitivity. We find that sensitivity is driven by a signal-to-noise ratio in the inference problem, is not reflected in standard errors, does not disappear asymptotically, and is not due to misspecification. While some empirical applications are robust, results of several influential economics papers can be overturned by removing less than 1% of the sample.

研究动机与目标

• 开发一种计算上可行、自动化的度量方法，用以评估经验结论对小样本扰动的敏感性。
• 解决政策相关发现可能被极小部分样本所过度影响的担忧，即使标准误较小亦如此。
• 提供一种传统标准误或渐近理论无法捕捉的有限样本鲁棒性度量。
• 区分 AMIP 鲁棒性与粗误差鲁棒性，表明影响可能源于噪声和信噪比，而不仅仅是异常值。
• 证明 AMIP 敏感性并非由模型设定错误引起，并且在渐近情形下依然持续存在。

提出的方法

• 提出近似最大影响扰动（AMIP）作为有限样本鲁棒性度量，用于识别大小不超过 100α% 的数据点子集，其移除会导致估计量发生最大变化。
• 利用影响函数的线性近似，高效计算最具影响力的子集，避免对所有可能子集进行穷举搜索。
• 推导近似精度的有限样本误差界，确保对 OLS、IV、MLE、GMM 和变分贝叶斯等常见估计量的可靠性。
• 以极低计算成本提供敏感性的精确有限样本下界，增强结果可信度。
• 基于经典影响函数及其信号与噪声分量的分解，分析敏感性。
• 采用信噪比框架解释 AMIP 敏感性产生的原因，表明其与标准误无关，也非由模型设定错误引起。

实验结果

研究问题

• RQ1 即使标准误较小，移除少于 1% 的数据是否仍可能使具有影响力的经济学研究结论发生反转？
• RQ2 小样本扰动的敏感性由什么驱动——信号强度、噪声，还是模型设定错误？
• RQ3 如何在无需穷举计算的情况下，自动且高效地计算最具影响力的样本子集？
• RQ4 AMIP 鲁棒性是否与经典粗误差鲁棒性相关，还是属于一个独立概念？
• RQ5 AMIP 敏感性是否在渐近情形下消失，还是在大样本中依然持续存在？

主要发现

• AMIP 揭示，若干具有影响力的经济学论文在仅移除少于 1% 的数据后，其结论即可能发生反转，尽管标准误较小。
• 敏感性由推断问题中的信噪比驱动，而非模型设定错误或显著异常值。
• AMIP 敏感性不会随样本量增大而消失，即使在大样本中仍可能持续存在，表明其为有限样本现象并具有长期影响。
• 标准误无法捕捉数据点对估计量的影响，因为标准误对这类扰动不敏感。
• 异常值通过增加影响函数的噪声分量，而非通过重尾分布，提升 AMIP 敏感性。
• 该方法在极低计算成本下提供近似结果的有限样本误差界，以及敏感性的精确下界。