[논문 리뷰] A Robust Permutation Test for Subvector Inference in Linear Regressions

Xavier D’Haultfœuille, Purevdorj Tuvaandorj|arXiv (Cornell University)|2022. 05. 13.

Advanced Statistical Methods and Models인용 수 6

한 줄 요약

이 논문은 조건부 독립 하에서 정확하고, 약한 외생성 하에서 渐近적으로 타당한 선형 회귀에서 부분벡터 추론을 위한 강건한 순열검정(계층화된 랜덤화 검정, SR)을 제안한다. 검정은 이질성과 의존성 하에서 유한표본 성능을 향상시키기 위해 이질성의 원인으로 작용하는 부수적 변수의 값에 따라 데이터를 계층화하고, 각 계층 내에서 순열을 수행한다. 이때 계층 수가 표본 크기 대비 작을 경우 검정의 크기와 검정력이 유지된다.

ABSTRACT

We develop a new permutation test for inference on a subvector of coefficients in linear models. The test is exact when the regressors and the error terms are independent. Then, we show that the test is asymptotically of correct level, consistent and has power against local alternatives when the independence condition is relaxed, under two main conditions. The first is a slight reinforcement of the usual absence of correlation between the regressors and the error term. The second is that the number of strata, defined by values of the regressors not involved in the subvector test, is small compared to the sample size. The latter implies that the vector of nuisance regressors is discrete. Simulations and empirical illustrations suggest that the test has good power in practice if, indeed, the number of strata is small compared to the sample size.

연구 동기 및 목표

• 부수적 변수를 조건으로 하여 회귀변수와 오차항이 조건부 독립일 경우 정확한 순열검정을 개발하는 것.
• 전체 매개변수 추론을 넘어 부분벡터 추론으로 순열검정의 타당성을 확장하여 응용 미시경제학에서의 핵심 한계를 해결하는 것.
• 평균 독립성보다 더 약한 외생성 조건 하에서도 渐近적으로 타당성과 검정력을 확보하는 것, 특히 이종분산성이 존재할 경우에 중점을 두고.
• 부수적 회귀변수의 서로 다른 값의 수(즉, 계층 수)가 표본 크기 대비 작을 경우에도 정확한 크기와 양호한 검정력을 유지하는 실용적인 검정을 제공하는 것.
• 이산적이거나 저차원의 부수적 회귀변수를 가진 설정에서 기존의 강건한 Wald 검정과 부분상관계 순열검정에 대한 실용적인 대안을 제공하는 것.

제안 방법

• SR 검정은 부수적 회귀변수 Z의 값에 따라 데이터를 계층화하며, Z는 서로 다른 값의 수가 적은 이산변수라고 가정한다.
• 각 계층 내에서, 관심 있는 부분벡터 X의 잔차를 순열하고 부수적 회귀변수 Z는 고정함으로써 조건부 구조를 유지한다.
• 순열된 데이터 하에서 이종분산성에 강건한 Wald 통계량을 계산하여, 순열 간의 통계량의 경험분포를 통해 p-값을 구성한다.
• 이론적 타당성은 큰 계층에 대해서는 순열 중심극한정리와 작은 계층에 대해서는 삼각행렬 중심극한정리를 사용하며, 새로운 순열형 마르킨키에비치-지그문드 부등식을 도입한다.
• 연속적인 Z에 대해서는 Zγ̂를 이산화함으로써 SR 검정의 근사형을 제안한다. 여기서 γ̂는 부수적 계수의 OLS 추정치이다.
• 이 방법은 E[u|X,Z] = E[u|Z]라는 조건부 독립 가정에 기반하며, 이는 평균 독립성보다 더 약한 조건이지만 상관관계 없음보다 더 강력한 조건이므로 渐近적 타당성을 보장한다.

실험 결과

연구 질문

• RQ1 선형 모형에서 부분벡터 추론을 위한 순열검정이 조건부 독립 하에서는 정확하고, 더 약한 외생성 조건 하에서는 渐近적으로 타당한가?
• RQ2 부수적 회귀변수의 서로 다른 값의 수(즉, 계층 수)가 표본 크기 대비 작을 경우, 제안된 SR 검정이 정확한 크기와 검정력을 유지하는가?
• RQ3 이종분산성과 의존성이 존재할 경우, SR 검정은 기존의 강건한 Wald 검정과 부분상관계 순열검정에 비해 크기와 검정력 측면에서 어떻게 비교되는가?
• RQ4 부수적 회귀변수가 연속이지만, 적합된 값에 의해 이산화될 경우 근사 SR 검정의 성능은 어떠한가?
• RQ5 유한표본에서 다른 검정이 검정력이 낮을 경우, SR 검정은 어떤 조건에서 기존 방법들을 능가하는가?

주요 결과

• X와 u가 Z를 조건으로 하여 조건부 독립이면, X와 Z가 상관이 있더라도 SR 검정은 정확하게 타당하다. 이는 많은 실용적 설정에 적용 가능하다.
• 계층 수 S가 표본 크기 n에 비해 작을 경우, X와 u가 Z를 조건으로 하여 상관관계가 없을 때 SR 검정은 渐近적으로 정확한 수준을 유지하고 일致성도 확보한다.
• 시뮬레이션 결과, 특히 S/n 비율이 낮을 경우, 이종분산성 하에서 SR 검정은 HC3와 같은 강건한 Wald 검정보다 명목 수준에 더 가까운 크기를 유지한다.
• 다른 검정이 검정력이 낮은 데이터 생성 과정에서 SR 검정은 더 작은 표본에서나 중간 크기의 표본에서 검정력 우위를 보인다.
• Zγ̂를 이산화한 근사 SR 검정은 일부 크기 왜곡을 보이지만, 특정 상황에서는 부분상관계 순열검정과 기존의 강건한 검정보다 우수한 성능을 보인다.
• 미국 교통 사망률 데이터와 학급 규모 영향에 대한 실증 응용에서는 SR 검정이 일부 경쟁 방법보다 좁은 신뢰구간을 제공하며, 이종분산성에 대해 강건함을 입증한다.