[논문 리뷰] Nonparametric Bootstrap Inference for the Targeted Highly Adaptive LASSO Estimator

Weixin Cai, Mark van der Laan|arXiv (Cornell University)|2019. 05. 23.

Statistical Methods and Inference참고 문헌 19인용 수 5

한 줄 요약

이 논문은 섹션별 변동 노름을 교차검증 선택기보다 크거나 같은 값으로 고정함으로써 渐近적 일致성을 보장하는 Targeted Highly Adaptive LASSO Estimator (HAL-TMLE)를 위한 비모수 부트스트랩 방법을 제안한다. 이는 유한표본에서의 신뢰구간 커버리지 최적화를 위해 노름에 대한 플라토너스 기반 선택기(plateau-based selector)를 도입하여, 평균 치료효과 및 밀도 적분 추정에서 월드형 신뢰구간보다 뛰어난 성능을 보여준다.

ABSTRACT

The Highly-Adaptive-LASSO Targeted Minimum Loss Estimator (HAL-TMLE) is an efficient plug-in estimator of a pathwise differentiable parameter in a statistical model that at minimal (and possibly only) assumes that the sectional variation norm of the true nuisance functional parameters (i.e., the relevant part of data distribution) are finite. It relies on an initial estimator (HAL-MLE) of the nuisance functional parameters by minimizing the empirical risk over the parameter space under the constraint that the sectional variation norm of the candidate functions are bounded by a constant, where this constant can be selected with cross-validation. In this article, we establish that the nonparametric bootstrap for the HAL-TMLE, fixing the value of the sectional variation norm at a value larger or equal than the cross-validation selector, provides a consistent method for estimating the normal limit distribution of the HAL-TMLE. In order to optimize the finite sample coverage of the nonparametric bootstrap confidence intervals, we propose a selection method for this sectional variation norm that is based on running the nonparametric bootstrap for all values of the sectional variation norm larger than the one selected by cross-validation, and subsequently determining a value at which the width of the resulting confidence intervals reaches a plateau. We demonstrate our method for 1) nonparametric estimation of the average treatment effect based on observing on each unit a covariate vector, binary treatment, and outcome, and for 2) nonparametric estimation of the integral of the square of the multivariate density of the data distribution. In addition, we also present simulation results for these two examples demonstrating the excellent finite sample coverage of bootstrap-based confidence intervals.

연구 동기 및 목표

• HAL-TMLE의 유한표본에서의 월드형 신뢰구간이 고차항 나머지 항이 크기 때문에 반대보수적(anti-conservative)일 수 있는 문제를 해결하기 위해.
• 섹션별 변동 노름을 자료에 적응적인 값으로 고정함으로써 HAL-TMLE의 진짜 표본분포를 일致적으로 추정하는 부트스트랩 방법을 개발하기 위해.
• 부트스트랩의 유한표본 보완을 위해 섹션별 변동 노름을 플라토너스 탐지 방법으로 선택함으로써 신뢰구간 커버리지를 향상시키기 위해.
• 고차원 설정에서 평균 치료효과 및 다변량 밀도 적분의 비모수적 추정에 있어서 이 방법의 효과성을 입증하기 위해.

제안 방법

• 비모수 부트스트랩은 HAL-MLE의 섹션별 변동 노름을 교차검증 선택기 이상의 값으로 고정함으로써 HAL-TMLE의 부트스트랩 분포의 일치성을 보장한다.
• 이 방법은 표본분포로 경험분포를 사용하며, MLE가 매개변수 공간의 경계에 위치하더라도 HAL-MLE의 복원(resampling)에 대한 강건성을 활용한다.
• 플라토너스 선택기를 제안한다: 섹션별 변동 노름을 교차검증 선택기 이상의 모든 값에서 부트스트랩을 수행하고, 신뢰구간 폭이 안정화되는(플라토너스가 되는) 값을 선택한다.
• 최종 신뢰구간은 부트스트랩 분포의 편향과 분산을 모두 고려한 분산 추정기로 스케일 조정된다.
• 이 방법은 두 가지 예제에 적용된다: 비모수적 평균 치료효과 추정 및 다변량 밀도의 제곱 적분.
• 이 방법은 HAL-TMLE의 渐近적 효율성을 계승하며, HAL-MLE의 잘 조율된 수렴성 덕분에 복원에서 일치성을 유지한다.

실험 결과

연구 질문

• RQ1 섹션별 변동 노름을 교차검증 선택기 이상의 값으로 고정할 경우, HAL-TMLE의 유한표본 표본분포를 일치적으로 추정할 수 있는가?
• RQ2 부트스트랩에서 섹션별 변동 노름의 선택을 어떻게 최적화하여 유한표본에서의 신뢰구간 커버리지를 향상시킬 수 있는가?
• RQ3 제안된 플라토너스 기반 선택기는 교차검증 선택기를 직접 사용하는 것보다 섹션별 변동 노름에 대해 더 나은 커버리지를 제공하는가?
• RQ4 고차원 비모수 설정에서 부트스트랩 기반 추론은 월드형 추론과 비교해 커버리지와 폭 측면에서 어떻게 성능을 발휘하는가?

주요 결과

• 섹션별 변동 노름을 교차검증 선택기 이상의 값으로 고정할 경우, HAL-TMLE를 위한 비모수 부트스트랩은 정규 근사 분포의 渐近적 일치성을 보장한다.
• 섹션별 변동 노름에 대한 플라토너스 선택기는 평균 치료효과 및 밀도 적분 추정에서의 시뮬레이션에서 뛰어난 유한표본 커버리지를 보여준다.
• 부트스트랩 방법은 고차항 확률적 행동을 포착함으로써 월드형 간격보다 더 낮은 반대보수성(anti-conservatism)을 보이며, 더 나은 성능을 발휘한다.
• 교차검증 선택기가 진짜 섹션별 변동 노름을 과소평가할 경우에도 플라토너스 기반 보완 덕분에 이 방법은 강건성을 유지한다.
• 부트스트랩 분포의 근사 오차는 잘 조율된 경험과정의 유한표본 분포를 정확히 추정하는 부트스트랩의 정확도에 의해 주로 결정된다.