[논문 리뷰] Nonparametric Inference via Bootstrapping the Debiased Estimator

Gang Cheng, Yen‐Chi Chen|arXiv (Cornell University)|2017. 02. 22.

Statistical Methods and Inference참고 문헌 93인용 수 3

한 줄 요약

이 논문은 비모수 밀도 및 회귀 추정에서 동시 신뢰역을 구축하기 위한 새로운 부트스트랩 기반 방법을 제안한다. 이는 편향 보정된 커널 밀도 추정기와 편향 보정된 국소 다항 회귀 추정기에 부트스트랩을 적용함으로써 이루어지며, 주요 기여는 기존의 밴드위드 선택기법(예: 규칙 기반, 교차검증)을 그대로 사용하면서도 과소조정 또는 과다조정이 필요 없이 渐近적으로 타당한 신뢰역을 제공함으로써, 전체 지지역에서 균일한 커버리지와 밴드위드 선택에 대한 강건성을 유지한다는 점이다.

ABSTRACT

In this paper, we propose to construct confidence bands by bootstrapping the debiased kernel density estimator (for density estimation) and the debiased local polynomial regression estimator (for regression analysis). The idea of using a debiased estimator was recently employed by Calonico et al. (2018b) to construct a confidence interval of the density function (and regression function) at a given point by explicitly estimating stochastic variations. We extend their ideas of using the debiased estimator and further propose a bootstrap approach for constructing simultaneous confidence bands. This modified method has an advantage that we can easily choose the smoothing bandwidth from conventional bandwidth selectors and the confidence band will be asymptotically valid. We prove the validity of the bootstrap confidence band and generalize it to density level sets and inverse regression problems. Simulation studies confirm the validity of the proposed confidence bands/sets. We apply our approach to an Astronomy dataset to show its applicability

연구 동기 및 목표

• 비모수 밀도 및 회귀 추정에서 유효한 동시 신뢰역을 구축하는 데 오랫동안 해결되지 않은 과제를 다루는 것.
• 부트스트랩 방법으로 포착하기 어려운 비모수 추론에서의 편향 보정 문제를 극복하는 것.
• 과소조정 또는 과다조정이 필요 없이 기존의 밴드위드 선택기법(예: 규칙 기반, 교차검증)을 사용하는 방법을 개발하는 것.
• 편향 보정 추정기 접근법을 다변량 설정으로 일반화하고, 밀도 수준 집합 및 역회귀 문제로 확장하는 것.
• 균일한 커버리지와 밴드위드 선택에 대한 민감도가 낮은 강건하고 실용적인 신뢰역 구축 방법을 제공하는 것.

제안 방법

• Calonico 등(2018b)이 제안한 편향 보정된 커널 밀도 추정기(KDE)와 편향 보정된 국소 다항 회귀 추정기를 사용하며, 이는 고계 도함수의 명시적 추정을 통해 편향을 보정한다.
• 전체 지지역에서 동시 신뢰역을 구축하기 위해 L∞ 거리 척도에서 편향 보정 추정기에 비모수 부트스트랩을 적용한다.
• 편향 보정 추정기의 편향이 확률적 변동보다 고계수준이므로, 표준 밴드위드 선택기법이 渐近적으로 타당한 추론을 가능하게 한다는 사실을 활용한다.
• 부트스트랩 절차는 편향 보정 추정기의 표본 변동성을 고려하여, 도메인 내 모든 점에서 커버리지 확률이 균일하게 유지됨을 보장한다.
• 이러한 부트스트랩 프레임워크를 이들 설정에서의 편향 보정 추정기에 적용함으로써, 밀도 수준 집합 및 역회귀 문제로의 확장을 수행한다.
• 밴드위드 선택은 KDE에 대한 규칙 기반, 회귀에 대한 교차검증과 같은 표준 오프더쇼프 방법을 사용하며, 편향 보정을 위한 튜닝이 필요로 하지 않는다.

실험 결과

연구 질문

• RQ1 비모수 밀도 및 회귀 함수에 대해 부트스트랩 기반의 동시 신뢰역을 전체 지지역에서 균일한 커버리지를 유지하면서 구축할 수 있는가?
• RQ2 편향 보정 추정기를 사용함으로써, 신뢰역 구축에서 과소조정 또는 과다조정이 필요 없어지는가?
• RQ3 기존의 접근법(과소조정, 편향 보정)과 비교할 때, 제안된 방법은 커버리지 정확도와 신뢰역 너비 측면에서 어떻게 성능을 내는가?
• RQ4 규칙 기반 및 교차검증을 포함한 다양한 밴드위드 선택 전략에 대해 이 방법이 강건한가?
• RQ5 밀도 수준 집합 및 역회귀 문제에 대해 유효한 신뢰집합을 제공할 수 있는가?

주요 결과

• 제안된 부트스트랩 방법은 과소조정 또는 과다조정 없이도 기존의 밴드위드 선택기법을 사용하여 渐近적으로 타당한 동시 신뢰역을 달성한다.
• 시뮬레이션 결과는 편향 보정 부트스트랩 방법이 모든 모형과 표본 크기에서 근사 명목 커버리지(예: 95%)를 유지함을 보여주며, 밴드위드 선택에 대한 강건성 측면에서 기존의 편향 보정 및 과소조정 방법보다 뛰어나다.
• 교차검증 밴드위드를 사용할 경우, 편향 보정 방법은 표본 크기 n=2000일 때 명목 수준(예: 0.98–0.99)에 매우 가까운 경험적 커버리지를 달성하지만, 과소조정 및 편향 보정 방법은 특히 복잡한 모형에서 과소커버리지가 발생하는 경향이 있다.
• 규칙 기반 밴드위드를 사용할 경우, 편향 보정 방법은 과소조정보다 더 좁은 신뢰역을 생성하며, 기존의 편향 보정 방법보다 더 강건하다.
• 모형 5에서 규칙 기반 밴드위드를 사용할 경우, 표본 크기 n=1000일 때 편향 보정 방법은 96.7%의 커버리지를 달성했고, 기존의 편향 보정(87.4%) 및 과소조정(85.8% 및 97.4%) 방법보다 뛰어나게 성능을 내었다.
• 이 방법은 천문학 데이터셋에 성공적으로 적용되어 실제 비모수 추론에서의 실용성을 입증하였다.