[논문 리뷰] An Automatic Finite-Sample Robustness Metric: When Can Dropping a Little Data Make a Big Difference?

Tamara Broderick, Ryan Giordano외 1명|arXiv (Cornell University)|2020. 11. 30.

Monetary Policy and Economic Impact인용 수 15

한 줄 요약

이 논문은 경제학 모형에서 표본의 소수의 데이터를 제거할 경우 실험적 결론이 얼마나 변할 수 있는지 수량화하는 유한표본 내성성 측도인 근사 최대 영향 변동(AMIP)을 도입한다. 영향 함수의 효율적 근사치를 사용하여 가장 영향력이 큰 데이터 부분집합을 식별하고, 유한표본 오차 한계를 제공함으로써, 작은 표본 변화가 조그만 표준오차를 가진 영향력 있는 경제학 논문의 결과를 뒤바꿀 수 있음을 드러낸다.

ABSTRACT

Study samples often differ from the target populations of inference and policy decisions in non-random ways. Researchers typically believe that such departures from random sampling -- due to changes in the population over time and space, or difficulties in sampling truly randomly -- are small, and their corresponding impact on the inference should be small as well. We might therefore be concerned if the conclusions of our studies are excessively sensitive to a very small proportion of our sample data. We propose a method to assess the sensitivity of applied econometric conclusions to the removal of a small fraction of the sample. Manually checking the influence of all possible small subsets is computationally infeasible, so we use an approximation to find the most influential subset. Our metric, the "Approximate Maximum Influence Perturbation," is based on the classical influence function, and is automatically computable for common methods including (but not limited to) OLS, IV, MLE, GMM, and variational Bayes. We provide finite-sample error bounds on approximation performance. At minimal extra cost, we provide an exact finite-sample lower bound on sensitivity. We find that sensitivity is driven by a signal-to-noise ratio in the inference problem, is not reflected in standard errors, does not disappear asymptotically, and is not due to misspecification. While some empirical applications are robust, results of several influential economics papers can be overturned by removing less than 1% of the sample.

연구 동기 및 목표

• 소수의 데이터 변동에 대한 경험적 결론의 민감도를 평가할 수 있는 계산적으로 실현 가능한 자동 측도를 개발하는 것.
• 정책에 영향을 주는 결과가 표본의 극히 소수의 데이터에 의해 지나치게 영향을 받을 수 있다는 우려를 다루는 것, 즉 표준오차가 작을 때조차도 그렇다.
• 기존 표준오차나 渐近 이론으로는 캡처되지 않는 유한표본 내성성 측도를 제공하는 것.
• AMIP 내성성과 거대오차 내성성 간의 차이를 명확히 하여, 영향력이 발생하는 원인이 오직 이상치가 아니며, 신호 대 잡음 비율 등에 의해서도 발생할 수 있음을 보여주는 것.
• AMIP 민감도가 모형 오특성 때문이 아니며, 점점 큰 표본에서도 여전히 지속된다는 것을 보여주는 것.

제안 방법

• 표본의 ≤100α% 크기의 데이터 부분집합 중에서 추정기의 변화가 가장 큰 부분집합을 식별하는 유한표본 내성성 측도로 근사 최대 영향 변동(AMIP)을 제안한다.
• 모든 가능한 부분집합에 대한 완전한 검색 없이도 효율적으로 가장 영향력 있는 부분집합을 계산하기 위해 영향 함수의 선형 근사를 사용한다.
• 근사 정확도에 대한 유한표본 오차 한계를 유도하여, OLS, IV, MLE, GMM, 변분 베이즈 등 일반적인 추정기들에 대해 신뢰성 있는 결과를 보장한다.
• 최소한의 계산 비용으로 정확한 유한표본 하한값을 제공함으로써 결과에 대한 신뢰도를 높인다.
• 고전적 영향 함수와 그 신호 및 잡음 성분으로의 분해를 기반으로 민감도를 분석한다.
• 신호 대 잡음 비율 프레임워크를 활용하여 AMIP 민감도가 언제 발생하는지 설명하며, 이는 표준오차와 독립적이며 모형 오특성 때문이 아니라는 것을 보여준다.

실험 결과

연구 질문

• RQ1 표준오차가 작더라도, 영향력 있는 경제학 연구에서 1% 미만의 데이터를 제거했을 때 결과가 뒤바뀌는가?
• RQ2 소수의 데이터 변동에 대한 민감도는 신호 강도, 잡음, 또는 모형 오특성 중 무엇에 의해 주로 유도되는가?
• RQ3 완전한 계산 없이도 가장 영향력 있는 데이터 부분집합을 자동으로 효율적으로 계산할 수 있는가?
• RQ4 AMIP 내성성은 고전적 거대오차 내성성과 관련이 있는가, 아니면 별개의 개념인가?
• RQ5 AMIP 민감도는 渐진적으로 사라지거나, 큰 표본에서도 지속되는가?

주요 결과

• AMIP는 표준오차가 작더라도 영향력 있는 경제학 논문의 결과가 1% 미만의 데이터 제거로 뒤바뀔 수 있음을 드러낸다.
• 민감도는 모형 오특성이나 거대이상치 때문이 아니라, 추론 문제의 신호 대 잡음 비율에 의해 주로 유도된다.
• AMIP 민감도는 점점 큰 표본에서도 사라지지 않고 지속되며, 이는 끝없이 영향을 미치는 유한표본 현상임을 시사한다.
• 표준오차는 이러한 유형의 변동에 민감하지 않으며, 데이터 포인트가 추정기에게 미치는 영향을 캡처하지 못한다.
• 이상치는 무거운 尾部 분포를 통해 AMIP 민감도를 증가시키는 것이 아니라, 영향 함수의 잡음 성분을 증가시킴으로써 민감도를 높인다.
• 이 방법은 근사치에 대한 유한표본 오차 한계를 제공하며, 최소한의 계산 비용으로 민감도의 정확한 하한값을 제공한다.