[논문 리뷰] A simple way to assess inference methods

Bruno Ferman|arXiv (Cornell University)|2019. 12. 18.

Statistical Methods and Inference참고 문헌 50인용 수 11

한 줄 요약

이 논문은 실증 연구자들이 실증 연구에서 추론 방법의 신뢰성을 평가하기 위한 간단하고 실용적인 선별 절차를 제안한다. 표준 점근적 이론이 유한 표본에서 성립하는지 테스트함으로써, 특히 적은 수의 처리군 클러스터, 시프트-쉐어 설계, 클러스터링 고정효과와 같은 설정에서 추론의 결함을 탐지함으로써, 널리 채택될 경우 과학적 신뢰도를 향상시킨다.

ABSTRACT

We propose that applied researchers consider simple procedures to assess whether inference methods are reliable. Such assessments can detect problems when the asymptotic theory that justifies an inference method is invalid and/or provides a poor approximation in a specific empirical application. We show that, despite their simplicity and limitations, such assessments have the potential of making scientific evidence more reliable, if widely used by applied researchers as a first screening. We analyze in detail the cases of Difference-in-Differences with few treated clusters, shift-share designs, weighted OLS, clustering with fixed effects, block bootstrap, stratified experiments, and matching estimators.

연구 동기 및 목표

• 유한 표본에서 잘못된 점근적 근사로 인해 신뢰할 수 없는 추론 방법의 광범위한 사용을 다루기 위해.
• 적은 수의 처리군 클러스터, 시프트-쉐어 설계, 고정효과가 포함된 클러스터링과 같은 추론 방법의 일반적인 함정을 특정하기 위해.
• 표준 오차나 p-값에 의존하기 전에 연구자가 적용할 수 있는 실용적이고 접근 가능한 선별 절차를 제공하기 위해.
• 실제 응용에서 점근적 이론이 실패할 때를 탐지함으로써 과학적 증거의 신뢰도를 향상시키기 위해.

제안 방법

• 주어진 실증 설정에서 점근적 추론 방법이 신뢰할 수 있는지 평가하기 위한 단순한 시뮬레이션 기반 선별 절차를 제안한다.
• 주어진 방법에서 도출된 표준 오차나 p-값이 귀무가설 하에서 잘 근사되는지 테스트하기 위해 절차를 사용한다.
• 차등-차등(DD) 추정기(적은 수의 처리군 클러스터 포함), 시프트-쉐어 설계, 가중치 OLS, 클러스터링 고정효과, 블록 부트스트랩, 분류 실험, 매칭 추정기 등 다양한 일반적인 추정기들을 적용한다.
• 귀무가설 하에서 시뮬레이션을 수행하여 명목상의 검정 크기와 실제 기각률이 일치하는지 평가한다.
• 특히 소표본이나 복잡한 설계에서 점근적 이론이 붕괴할 때를 선별함으로써 이를 탐지한다.
• 공식적 추론에 의존하기 전에 이 방법을 제1선 진단 도구로 권장한다.

실험 결과

연구 질문

• RQ1 어떤 실증 설정에서 표준 점근적 추론 방법이 유한 표본 근사가 열악하여 실패하는가?
• RQ2 복잡한 이론적 유도 없이도 실증 연구자가 언제 추론 방법이 불신뢰할 수 있는지 탐지할 수 있는가?
• RQ3 적은 수의 처리군 클러스터나 시프트-쉐어 설계를 포함한 일반적인 방법들이 얼마나 잘못된 추론을 초래하는가?
• RQ4 다양한 실증 설계에 걸쳐 문제 있는 추론을 신뢰성 있게 경고할 수 있는 단순한 시뮬레이션 기반 선별 절차가 가능한가?
• RQ5 실증 연구자가 이 선별 절차를 빈번히 사용할 경우 과학적 증거의 신뢰도는 얼마나 향상되는가?

주요 결과

• 제안된 선별 절차는 일반적인 실증 설정에서 점근적 이론이 유한 표본 분포를 나쁘게 근사할 때 이를 효과적으로 탐지한다.
• 차등-차등(DD)에 적은 수의 처리군 클러스터나 시프트-쉐어 설계와 같은 널리 사용되는 추론 방법들은 귀무가설 하에서 상당한 크기 왜곡을 보인다.
• 클러스터 수나 유효 표본 크기가 작을 경우 표준 오차와 p-값이 오해의 소지가 있음을 이 방법이 밝혀낸다.
• 가중치 OLS, 클러스터링 고정효과, 매칭 추정기 등 다양한 추정기에서 이 선별 절차는 강건하며, 추론의 숨겨진 결함을 드러낸다.
• 광범위하게 적용될 경우 이 선별 절차는 보고된 결과에 잘못된 추론이 포함되지 않도록 함으로써 과학적 증거의 신뢰도를 크게 향상시킬 수 있다.
• 이 방법의 단순성 덕분에 실증 연구자가 일상적으로 사용하기에 용이하여 더 나은 실증 연구 관행을 촉진한다.