[논문 리뷰] Finite Sample Inference for Targeted Learning

Mark van der Laan|arXiv (Cornell University)|2017. 08. 30.

Advanced Causal Inference Techniques참고 문헌 20인용 수 3

한 줄 요약

이 논문은 높이 적응적 라소(HAL)를 사용하는 타겟드 맥스리크리스티메이션(TMLE)을 위한 네 가지 유한표본 추론 방법을 제안하며, 이는 고차항 나머지 항을 고려하여 HAL-TMLE의 진짜 표본 분포를 추정하기 위해 비모수 부트스트랩(nonparametric bootstrap)을 활용한다. 주요 기여는 이론적으로 타당하고 점차적 일致성 있는 부트스트랩 방법으로, 정규근사 기반 추론에 비해 특히 고차원 또는 복잡한 모델에서의 유한표본 커버리지 성능을 향상시킨다는 점이다.

ABSTRACT

The Highly-Adaptive-Lasso(HAL)-TMLE is an efficient estimator of a pathwise differentiable parameter in a statistical model that at minimal (and possibly only) assumes that the sectional variation norm of the true nuisance parameters are finite. It relies on an initial estimator (HAL-MLE) of the nuisance parameters by minimizing the empirical risk over the parameter space under the constraint that sectional variation norm is bounded by a constant, where this constant can be selected with cross-validation. In the formulation of the HALMLE this sectional variation norm corresponds with the sum of absolute value of coefficients for an indicator basis. Due to its reliance on machine learning, statistical inference for the TMLE has been based on its normal limit distribution, thereby potentially ignoring a large second order remainder in finite samples. In this article, we present four methods for construction of a finite sample 0.95-confidence interval that use the nonparametric bootstrap to estimate the finite sample distribution of the HAL-TMLE or a conservative distribution dominating the true finite sample distribution. We prove that it consistently estimates the optimal normal limit distribution, while its approximation error is driven by the performance of the bootstrap for a well behaved empirical process. We demonstrate our general inferential methods for 1) nonparametric estimation of the average treatment effect based on observing on each unit a covariate vector, binary treatment, and outcome, and for 2) nonparametric estimation of the integral of the square of the multivariate density of the data distribution.

연구 동기 및 목표

• 정규근사 기반 추론의 한계를 해결하기 위해, 고차항 나머지 항이 클 경우 유한표본에서 정확도가 떨어질 수 있는 TMLE의 문제를 다루기 위해.
• 모델의 복잡성과 고차원 데이터에 대해 강건한 유한표본 신뢰구간을 HAL-TMLE를 위해 개발하기 위해.
• 약한 규칙성 조건 하에서 HAL-TMLE의 진짜 표본 분포를 추정하기 위한 비모수 부트스트랩 방법의 이론적 타당성을 확립하기 위해.
• 부트스트랩이 HAL-MLE의 점근적 행동을 유지하며, Wald 유형의 구간에 비해 추론 정확도를 향상시킨다는 것을 보여주기 위해.
• 섹션별 변동 노름(sectional variation norm)이 희박성의 척도로서의 역할과 추론 성능에 미치는 영향을 탐색하기 위해.

제안 방법

• 논문은 비모수 부트스트랩을 사용하여 HAL-TMLe의 유한표본 분포를 추정하며, 교차검증을 통해 구한 섹션별 변동 노름의 경계를 고정된 것으로 간주한다.
• 네 가지 부트스트랩 기반 추론 방법을 제안한다: 진짜 표본 분포를 추정하기 위한 두 가지 방법과, 진짜 분포를 지배하는 두 가지 보수적 변형이다.
• 이 방법은 교차검증을 통해 선택된, 유계 섹션별 변동 노름을 가진 나이즈 파라미터를 추정하기 위해 HAL-MLE에 의존한다.
• 목표 파rameter의 캐논리컬 기울기(influence curve)는 HAL-TMLE의 점근적 선형 전개를 정의하는 데 사용된다.
• 부트스트랩은 HAL-TMLE의 정확한 이차 전개에 적용되어 표본 분포를 직접 추정하지만, 이는 치환 추정자 성질을 상실한다는 점이다.
• 약한 규칙성 조건 하에서 부트스트랩의 이론적 일관성을 증명하였으며, 근사 오차는 잘 행동하는 경험적 과정에서의 부트스트랩 성능에 의해 결정된다.

실험 결과

연구 질문

• RQ1 고차항 나머지 항이 클 경우, 비모수 부트스트랩이 HAL-TMLE의 진짜 유한표본 분포를 일관되게 추정할 수 있는가?
• RQ2 교차검증을 통해 선택된 섹션별 변동 노름 경계의 선택이 HAL-TMLE 추론의 유한표본 성능에 어떤 영향을 미치는가?
• RQ3 부트스트랩 기반 추론이 점근적 정규성을 기반으로 하는 표준 Wald 유형의 구간에 비해 우월한가?
• RQ4 섹션별 변동 노름이 고차원 비모수 모델에서 적응형이고 강건한 추론을 가능하게 하는 희박성 척도로서의 역할은 무엇인가?
• RQ5 부트스트랩은 종단적 인과추론에서 사용되는 순차적 또는 재귀적 HAL-TMLE로 확장될 수 있는가?

주요 결과

• 비모수 부트스트랩은 HAL-TMLE의 최적 정규한계 분포를 일관되게 추정하며, 근사 오차는 경험적 과정에서의 부트스트랩 성능에 의해 결정된다.
• 부트스트랩은 나이즈 파라미터의 HAL-MLE의 점근적 행동을 유지하며, 이는 추론에서의 활용에 대한 이론적 근거를 제공한다.
• 제안된 보수적 부트스트랩 방법은 진짜 유한표본 분포를 지배하여, 진짜 섹션별 변동 노름이 과소평가될 경우에도 유효한 커버리지를 보장한다.
• 부트스트랩 기반의 유한표본 신뢰구간은 특히 나이즈 파라미터 공간이 크고 고차원적인 설정에서 정규근사 기반의 구간보다 더 정확하다.
• 섹션별 변동 노름은 기저에 종속되지 않는 강력한 희박성 척도로서, 약한 규칙성 조건 하에서도 적응형이고 강건한 추정 및 추론을 가능하게 한다.
• 결과는 함수를 무한한 지표 함수의 선형 조합으로 표현하는 지표 기반 표현 방식이 복잡도를 정의하는 데 유일하게 적합하며, 효율적인 MLE와 타당한 부트스트랩 추론을 가능하게 한다는 점을 시사한다.