[論文レビュー] An Automatic Finite-Sample Robustness Metric: Can Dropping a Little Data Change Conclusions?

Tamara Broderick, Ryan Giordano+1 more|arXiv (Cornell University)|Jan 1, 2020

Statistical Methods and Inference参考文献 5被引用数 9

ひとこと要約

本稿では、経済推計結果に著しく影響を与える最小限の観測値を特定する計算的に効率的な有限標本指標として、近似最大影響摂動（AMIP）を導入する。正確な下限値を提供し、2パラメータ回帰において、わずかな標準誤差があるにもかかわらず、1%未塔のデータ削除で処置効果の符号が逆転する可能性があることが明らかになった。これは、従来の推論では捉えきれない非ロバスト性を示している。

ABSTRACT

We propose a method to assess the sensitivity of econometric analyses to the removal of a small fraction of the sample. Analyzing all possible data subsets of a certain size is computationally prohibitive, so we provide a finite-sample metric to approximately compute the number (or fraction) of observations that has the greatest influence on a given result when dropped. We call our resulting metric the Approximate Maximum Influence Perturbation. Our approximation is automatically computable and works for common estimators (including OLS, IV, GMM, MLE, and variational Bayes). We provide explicit finite-sample error bounds on our approximation for linear and instrumental variables regressions. At minimal computational cost, our metric provides an exact finite-sample lower bound on sensitivity for any estimator, so any non-robustness our metric finds is conclusive. We demonstrate that the Approximate Maximum Influence Perturbation is driven by a low signal-to-noise ratio in the inference problem, is not reflected in standard errors, does not disappear asymptotically, and is not a product of misspecification. Several empirical applications show that even 2-parameter linear regression analyses of randomized trials can be highly sensitive. While we find some applications are robust, in others the sign of a treatment effect can be changed by dropping less than 1% of the sample even when standard errors are small.

研究の動機と目的

• 小さなデータサブセットを削除した際の有限標本における推計結果のロバスト性を評価する課題に対処すること。
• 全サブセットの全列挙を避ける計算的に実行可能な代替手法として、データ摂動に対する感受性を測定するための手法を開発すること。
• OLS、IV、GMM、MLE、変分ベイズを含む任意の推定量に対して、正確で結論的な有限標本下限を提供すること。
• 非ロバスト性がモデルの誤指定、小標本サイズ、または高い標準誤差によるものではなく、低信号対雑音比に起因することを示すこと。
• 実世界の応用において、指標が高感受性を検出できる能力を実証的に検証すること、特に処置効果が小さいラントマイズド・トライアルを含む。

提案手法

• 近似最大影響摂動（AMIP）指標は、すべてのサブセットを列挙するのを避けて、与えられた推定量の結果に与える影響の最大値を近似する。
• 計算的に効率的なアルゴリズムを用い、推定量の出力を最も著しく変化させる最小の観測値サブセットを同定する。
• 線形回帰およびインスツルメンタル変数回帰において、AMIP近似の明示的な有限標本誤差バウンドを導出することで、信頼性を保証する。
• 古典的およびベイズ的手法を含む広範な推定量に適用可能で、自動的に計算可能な指標として設計されている。
• アプローチは、有限標本における感受性の正確な下限値を提供するため、検出された非ロバスト性は計算アーティファクトではなく、結論的である。
• モデル仕様に依存せず、漸近的近似や標準誤差推定に依存しない。

実験結果

リサーチクエスチョン

• RQ1 2パラメータ線形回帰において、1%未塔のデータを削除するだけで、処置効果の符号や大きさが著しく変化する可能性があるか？
• RQ2 観察されたデータ削除に対する感受性は、モデルの誤指定に起因するのか、それとも推論問題の構造的特徴なのか？
• RQ3 一般的な推定量に対して、正確かつ計算的に実行可能な有限標本下限を計算可能か？
• RQ4 AMIPが検出する感受性は、漸近的に消えるのか、それとも標本サイズにかかわらず持続するのか？
• RQ5 感受性は、標準誤差や推定不確実性ではなく、低信号対雑音比に起因するのか、その程度はどの程度か？

主な発見

• 無作為化試験の2パラメータ線形回帰モデルでさえ、標本の1%未塔を削除するだけで、処置効果の符号が逆転する可能性がある。
• AMIP指標は、標準誤差に反映されない非ロバスト性を検出しており、従来の推論が誤解を招く可能性があることを示唆している。
• AMIPが同定する感受性は、モデルの誤指定や有限標本バイアスの産物ではなく、データ内の低信号対雑音比に起因する。
• AMIPが検出する非ロバスト性は漸近的にも持続するため、標本サイズを増やしても解消されない。
• 線形回帰およびIV回帰において、AMIP近似には明示的な有限標本誤差バウンドが存在し、感受性の検出の信頼性と結論性を保証する。
• 実応用の結果から、一部の分析はロバストである一方で、他の分析は極めて感受性が強いことが判明し、標準誤差を超える感受性チェックの必要性が浮き彫りになった。