[論文レビュー] An Automatic Finite-Sample Robustness Metric: When Can Dropping a Little Data Make a Big Difference?

Tamara Broderick, Ryan Giordano+1 more|arXiv (Cornell University)|Nov 30, 2020

Monetary Policy and Economic Impact被引用数 15

ひとこと要約

本稿では、経済推計モデルにおける経験的結論が、わずか数パーセントのデータ（例：1%未塔）を削除することでどの程度変化するかを定量化する有限標本のロバストネス指標である近似最大影響摂動（AMIP）を導入する。影響関数の効率的近似を用いることで、最も影響力の強いデータサブセットを同定し、有限標本の誤差境界を提供する。その結果、標準誤差が小さいにもかかわらず、影響力のある経済学論文においても、わずかなデータ変更が結果を逆転させる可能性があることが明らかになった。

ABSTRACT

Study samples often differ from the target populations of inference and policy decisions in non-random ways. Researchers typically believe that such departures from random sampling -- due to changes in the population over time and space, or difficulties in sampling truly randomly -- are small, and their corresponding impact on the inference should be small as well. We might therefore be concerned if the conclusions of our studies are excessively sensitive to a very small proportion of our sample data. We propose a method to assess the sensitivity of applied econometric conclusions to the removal of a small fraction of the sample. Manually checking the influence of all possible small subsets is computationally infeasible, so we use an approximation to find the most influential subset. Our metric, the "Approximate Maximum Influence Perturbation," is based on the classical influence function, and is automatically computable for common methods including (but not limited to) OLS, IV, MLE, GMM, and variational Bayes. We provide finite-sample error bounds on approximation performance. At minimal extra cost, we provide an exact finite-sample lower bound on sensitivity. We find that sensitivity is driven by a signal-to-noise ratio in the inference problem, is not reflected in standard errors, does not disappear asymptotically, and is not due to misspecification. While some empirical applications are robust, results of several influential economics papers can be overturned by removing less than 1% of the sample.

研究の動機と目的

• 小さなデータ摂動に対する経験的結論の感度を、計算的に実行可能で自動化可能な指標として評価するための開発。
• 標準誤差が小さいにもかかわらず、政策に影響を与えるような結論が、極めて少数のサンプルに強く依存している可能性への懸念に対処する。
• 従来の標準誤差や漸近理論では捉えきれない、有限標本のロバストネスを測る指標を提供する。
• AMIPのロバストネスが、極端な外れ値に起因するロバストネスとは異なり、ノイズと信号対ノイズ比の両方が影響要因であることを示す。
• AMIPの感度がモデルの誤指定に起因するものではなく、漸近的にも持続することを示す。

提案手法

• 推定量の変化が最大になるような、サイズが100α%未塔のデータ点のサブセットを特定する有限標本のロバストネス指標として、近似最大影響摂動（AMIP）を提案する。
• 影響関数の線形近似を用いることで、すべての可能なサブセットを全探索せずに、最も影響力の強いサブセットを効率的に計算する。
• 近似の精度に関する有限標本の誤差境界を導出し、OLS、IV、MLE、GMM、変分ベイズなどの一般的な推定量に対して信頼性を保証する。
• 最小限の計算コストで、感度の正確な有限標本下限を提供し、結果の信頼性を高める。
• 古典的影響関数とその信号成分とノイズ成分への分解を用いて、感度を分析する。
• 信号対ノイズ比フレームワークを用いて、AMIP感度が発生する条件を説明し、それが標準誤差とは独立しており、モデルの誤指定とは無関係であることを示す。

実験結果

リサーチクエスチョン

• RQ1 標準誤差が小さいにもかかわらず、1%未塔のデータを削除することで、影響力のある経済学研究の結論が逆転する可能性はあるか？
• RQ2 小さなデータ摂動に対する感度は、信号強度、ノイズ、あるいはモデルの誤指定のいずれによって引き起こされるのか？
• RQ3 全探索を避けながら、計算的に効率的かつ自動的に最も影響力のあるデータサブセットを計算する方法は何か？
• RQ4 AMIPのロバストネスは、古典的な外れ値に対するロバストネスと関連しているのか、それとも独立した概念なのか？
• RQ5 AMIP感度は漸近的に消えるのか、それとも大標本でも持続するのか？

主な発見

• AMIPは、標準誤差が小さいにもかかわらず、いくつかの影響力のある経済学論文の結論が1%未塔のデータ削除によって逆転する可能性があることを明らかにした。
• 感度は、モデルの誤指定や極端な外れ値ではなく、推定問題における信号対ノイズ比に起因している。
• AMIP感度は漸近的に消えず、大標本でも持続するため、有限標本に起因する現象であり、長期的な影響を有する。
• 標準誤差では、データポイントが推定量に与える影響が捉えられていない。標準誤差は、このような摂動に対して感度が低い。
• 外れ値は、重い裾の分布によってAMIP感度を高めるのではなく、影響関数のノイズ成分を増加させることによって感度を高める。
• 本手法は、近似の有限標本誤差境界を提供し、最小限の計算コストで感度の正確な下限を提供する。