[논문 리뷰] On the Effect of Bias Estimation on Coverage Accuracy in Nonparametric Inference

Sebastián Calónico, Matias D. Cattaneo외 1명|arXiv (Cornell University)|2015. 08. 12.

Statistical Methods and Inference인용 수 4

한 줄 요약

이 논문은 비모수적 추론에서 커널 기반의 편향 보정 신뢰구간에 대한 새로운 Studentization 방법을 제안하며, 편향 보정이 커버리지 오차를 감소시키고 밴드위드 선택에 대해 더 강건함을 입증한다. 또한, 이차 커널과 적절한 표준오차를 사용할 경우, 내부점과 경계점에서 특히 커버리지 오차 감소 속도가 빨라지며, 실용적 구현을 위한 최적의 밴드위드가 유도된다.

ABSTRACT

Nonparametric methods play a central role in modern empirical work. While they provide inference procedures that are more robust to parametric misspecification bias, they may be quite sensitive to tuning parameter choices. We study the effects of bias correction on confidence interval coverage in the context of kernel density and local polynomial regression estimation, and prove that bias correction can be preferred to undersmoothing for minimizing coverage error and increasing robustness to tuning parameter choice. This is achieved using a novel, yet simple, Studentization, which leads to a new way of constructing kernel-based bias-corrected confidence intervals. In addition, for practical cases, we derive coverage error optimal bandwidths and discuss easy-to-implement bandwidth selectors. For interior points, we show that the MSE-optimal bandwidth for the original point estimator (before bias correction) delivers the fastest coverage error decay rate after bias correction when second-order (equivalent) kernels are employed, but is otherwise suboptimal because it is too "large". Finally, for odd-degree local polynomial regression, we show that, as with point estimation, coverage error adapts to boundary points automatically when appropriate Studentization is used; however, the MSE-optimal bandwidth for the original point estimator is suboptimal. All the results are established using valid Edgeworth expansions and illustrated with simulated data. Our findings have important consequences for empirical work as they indicate that bias-corrected confidence intervals, coupled with appropriate standard errors, have smaller coverage error and are less sensitive to tuning parameter choices in practically relevant cases where additional smoothness is available.

연구 동기 및 목표

• 비모수적 추론에서 편향 추정의 영향을 조사하며, 특히 커널 밀도와 국소 다항식 회귀에서 커버리지 정확도에 미치는 영향을 다룬다.
• 커버리지 오차를 최소화하기 위한 전략으로서 편향 보정과 과소 스무딩을 비교한다.
• 비모수적 추론에서 커버리지 오차를 감소시키고 강건성을 높이는 새로운 Studentization 기법을 개발한다.
• 특히 내부점과 경계점에서 편향 보정 후 커버리지 오차를 최소화하기 위한 최적의 밴드위드를 유도한다.
• 실제 응용에 유용한 실용적인 밴드위드 선택기법을 제공한다.

제안 방법

• 편향 보정을 고려한 표준오차 조정을 위한 새로운 Studentization 절차를 도입하여, 유한 표본에서의 커버리지 성질을 향상시킨다.
• 유효한 에지워스 전개를 사용하여 편향 보정된 신뢰구간의 커버리지 오차의 점근적 전개를 유도한다.
• 이차 커널 및 국소 다항식 회귀 프레임워크 하에서 내부점과 경계점에 대한 커버리지 오차 최적의 밴드위드를 유도한다.
• 편향 보정 후 커버리지 오차 감소 속도를 높이기 위해 이차(등가) 커널을 활용한다.
• 실제 연구에 쉽게 적용할 수 있는, 커버리지 오차 최소화 기반의 밴드위드 선택기법을 제안한다.
• 다양한 밴드위드 선택 조건에서 커버리지 오차의 행동을 분석하며, MSE 최적의 밴드위드와 커버리지 오차 최적의 밴드위드를 비교한다.

실험 결과

연구 질문

• RQ1 편향 보정은 과소 스무딩 대비 비모수적 신뢰구간에서 커버리지 정확도를 향상시키는가?
• RQ2 새로운 Studentization 방법은 커널 기반 추론에서 커버리지 오차를 감소시키고 밴드위드 선택에 대한 강건성을 높일 수 있는가?
• RQ3 편향 보정 후 커버리지 오차를 최소화하기 위한 최적의 밴드위드는 무엇이며, 이는 MSE 최적의 밴드위드와 어떻게 다를까?
• RQ4 경계점에서 커버리지 오차는 어떻게 행동하는가? 적절한 표준오차를 사용하면 자동으로 보정될 수 있는가?
• RQ5 이차 커널의 사용이 편향 보정된 신뢰구간의 성능을 얼마나 향상시키는가?

주요 결과

• 제안된 Studentization를 통한 편향 보정은 특히 이차 커널을 사용할 경우 과소 스무딩보다 커버리지 오차 감소 속도가 더 빠르다.
• 내부점에서는 원래 추정기의 MSE 최적 밴드위드가 편향 보정 후에는 너무 크기 때문에 비최적이며, 커버리지 오차 최적의 밴드위드는 더 작다.
• 이차 커널을 사용할 경우, 편향 보정 후 MSE 최적 밴드위드가 커버리지 오차 감소 속도가 가장 빠르지만, 특정 매끄러움 조건 하에서만 성립한다.
• 홀수 차수의 국소 다항식 회귀에서는 적절한 Studentization을 적용할 경우 커버리지 오차가 자동으로 경계점에 맞게 조정되어 강건성이 향상된다.
• 커버리지 오차 최적의 밴드위드는 명시적으로 유도되었으며, 이는 표본 수가 유한할 경우 MSE 최적의 밴드위드보다 유의미하게 낮은 커버리지 오차를 제공함을 보여준다.
• 제안된 방법은 추가적인 매끄러움 조건이 있는 실용적 설정에서 더 작은 커버리지 오차와 조정 매개변수 선택에 대한 감도가 감소한 신뢰구간을 제공한다.