[논문 리뷰] Fast and Reliable Jackknife and Bootstrap Methods for Cluster-Robust Inference

James G. MacKinnon, Morten Ørregaard Nielsen외 1명|arXiv (Cornell University)|2023. 01. 11.

Statistical Methods and Inference인용 수 7

한 줄 요약

이 논문은 특히 CV3를 중심으로 잡음기반 군집稳健한 분산 추정기(CRVEs)에 대한 빠르고 계산적으로 효율적인 방법을 제안하며, 소규모 또는 균형이 깨진 군집에서 추론의 신뢰성을 향상시키기 위해 새로운 와일드 군집 부트스트랩 변형을 도입한다. 주요 기여는 군집 크기가 불균형하거나 군집 수가 적을 경우 기존 방법보다 훨씬 정확도가 높은 p-값과 신뢰구간을 제공하는 바, 특히 WCR-S 부트스트랩이 그러한 바람직한 성능을 보인다는 것이다.

ABSTRACT

We provide computationally attractive methods to obtain jackknife-based cluster-robust variance matrix estimators (CRVEs) for linear regression models estimated by least squares. We also propose several new variants of the wild cluster bootstrap, which involve these CRVEs, jackknife-based bootstrap data-generating processes, or both. Extensive simulation experiments suggest that the new methods can provide much more reliable inferences than existing ones in cases where the latter are not trustworthy, such as when the number of clusters is small and/or cluster sizes vary substantially. Three empirical examples illustrate the new methods.

연구 동기 및 목표

• 소규모 또는 균형이 깨진 군집에서 널리 사용되는 CV1보다 더 신뢰성이 높은 CV3를 포함하여, 잡음기반 CRVEs를 계산하는 데 있어 계산적으로 효율적인 방법을 개발하는 것.
• 기존 부트스트랩 방법의 한계를 해결하는 것 — 특히 CV1 기반 부트스트랩은 군집 크기가 다를 경우나 군집 수가 적을 경우 신뢰할 수 없는 추론을 초래할 수 있다.
• 잡음기반 CRVEs 또는 수정된 데이터 생성 과정(DGP)을 통합함으로써 유한표본 성능을 향상시키는 새로운 와일드 군집 부트스트랩 변형을 제안하는 것.
• 군집 균형도와 효과적 군집 수에 기반한 CV3, CV1, 또는 부트스트랩 방법을 언제 사용할 것인지에 대한 실증적 지침을 제공하는 것.
• 시뮬레이션과 실제 사례에서 표준 방법보다 뛰어난 성능을 보이는 실용적이고 구현 가능한 솔루션을 Stata, R, Python에서 제공하는 것.

제안 방법

• 군집 수준 잔차와 유도도 통계량을 명시적으로 활용함으로써, 많은 군집을 포함한 대규모 표본에서도 빠른 계산이 가능한 군집 잡음기반 추정기(CV3)를 계산하는 효율적인 알고리즘을 도입한다.
• 군집 잡음기반 추정치와 경험적 스코어 벡터 간의 대수적 관계를 유도함으로써, 진정한 기초 구조를 더 잘 반영하는 수정된 부트스트랩 데이터 생성 과정(DGP)을 구성할 수 있도록 한다.
• 새로운 와일드 군집 부트스트랩 변형인 WCR-S와 WCU-S를 제안하며, 이는 CV1 표준오차를 사용하지만 부트스트랩 DGP에서 잡음기반 변환된 스코어 벡터를 적용함으로써 유한표본 성능을 향상시킨다.
• 각 군집 내에서 스코어를 설계 행렬과 수직이 되도록 제약을 두어 수정된 부트스트랩 DGP를 적용함으로써, 군집 이질성 하에서의 강건성을 향상시킨다.
• Stata, R, Python, Julia에서 사용 가능한 효율적인 소프트웨어 패키지(예: boottest, fwildclusterboot)에 신규 방법을 구현하여 10,000회 이상의 부트스트랩 반복에서도 빠른 계산이 가능하도록 한다.
• 다양한 군집 구성과 표본 크기에서 성능을 비교하기 위해 광범위한 시뮬레이션 실험과 세 가지 실증 응용 사례를 통해 방법의 타당성을 검증한다.

Figure 1: Timings for three ways to compute CV 3

실험 결과

연구 질문

• RQ1 많은 군집을 포함한 대규모 표본에서 실용적으로 사용할 수 있도록 군집 잡음기반 추정기(CV3)를 얼마나 효율적으로 계산할 수 있는가?
• RQ2 CV3 기반 또는 수정된 DGP를 사용하는 부트스트랩 방법은 군집 크기가 다를 경우나 군집 수가 적을 경우, 기존의 CV1 기반 와일드 군집 부트스트랩 방법보다 더 신뢰할 수 있는 추론을 제공하는가?
• RQ3 군집 크기가 크게 다를 경우나 군집 수가 적을 경우, 새로운 부트스트랩 변형(WCR-S 등)이 고전적 방법(WCR-C 등)과 비교해 성능에서 어떻게 뛰어나게 되는가?
• RQ4 군집의 균형이 깨진 상태, 유도도, 효과적 군집 수가 CV1과 CV3의 표준오차 및 p-값의 신뢰성에 어떤 영향을 미치는가?
• RQ5 다양한 실증 설정에서 가장 정확하고 강건한 추론을 제공하는 부트스트랩 방법은 WCR-S, WCR-C, 또는 다른 방법인가?

주요 결과

• 한 실증 예에서 CV3 표준오차는 CV1보다 47% 높게 나타나, 군집이 균형이 깨졌을 경우 추론의 차이가 상당히 클 수 있음을 시사한다.
• WCR-S 부트스트랩은 CV1 표준오차를 사용하지만 DGP에서 잡음기반 변환된 스코어를 적용함으로써, 특히 군집 균형이 깨진 경우 시뮬레이션에서 고전적 WCR-C 부트스트랩보다 일관되게 뛰어난 성능을 보였다.
• 새로운 방법(예: WCR-S)의 부트스트랩 p-값은 군집 수가 적거나 군집 크기가 크게 다를 경우, CV1 또는 CV3 기반 전통적인 t-검정보다 더 신뢰할 수 있는 결과를 제공했다.
• 시뮬레이션 결과, 새로운 방법들은 유의수준 오류율을 감소시키고 특히 군집 수가 적거나 극단적으로 불균형한 경우 신뢰구간의 커버리지 성능을 향상시켰다.
• WCR-S 부트스트랩은 가장 강건하고 실용적인 권고로 평가되었으며, 최소한의 계산 비용으로 뛰어난 성능을 보였고, 쉽게 구현할 수 있었다.
• 10,000회 이상의 부트스트랩 반복이 계산적으로 가능하며, 특히 군집 구조가 복잡할 경우 신뢰할 수 있는 추론을 위해 필수적임을 입증했다.

Figure 2: Rejection frequencies as a function of $\gamma$