[논문 리뷰] Data-adaptive smoothing for optimal-rate estimation of possibly non-regular parameters

Aurélien Bibaut, Mark J. van der Laan|arXiv (Cornell University)|2017. 06. 22.

Advanced Causal Inference Techniques참고 문헌 12인용 수 4

한 줄 요약

이 논문은 비정규적이고 경로별 미분 가능하지 않을 수 있는 비모수 모형에서 비정규적 파라미터의 최적률 추정을 달성하기 위한 데이터 적응형 스무딩 방법을 제안한다. 스무딩 수준에 따라 인덱싱된 경로별 미분 가능함수의 가족을 구성함으로써, 일단에 추정기(1-step estimator)를 통해 최적의 스무딩 수준을 선택함으로써 점근적 정규성, 최적의 평균 제곱 오차 수렴, 거의 최적의 너비를 갖는 유효한 신뢰구간을 보장한다.

ABSTRACT

We consider nonparametric inference of finite dimensional, potentially non-pathwise differentiable target parameters. In a nonparametric model, some examples of such parameters that are always non pathwise differentiable target parameters include probability density functions at a point, or regression functions at a point. In causal inference, under appropriate causal assumptions, mean counterfactual outcomes can be pathwise differentiable or not, depending on the degree at which the positivity assumption holds. In this paper, given a potentially non-pathwise differentiable target parameter, we introduce a family of approximating parameters, that are pathwise differentiable. This family is indexed by a scalar. In kernel regression or density estimation for instance, a natural choice for such a family is obtained by kernel smoothing and is indexed by the smoothing level. For the counterfactual mean outcome, a possible approximating family is obtained through truncation of the propensity score, and the truncation level then plays the role of the index. We propose a method to data-adaptively select the index in the family, so as to optimize mean squared error. We prove an asymptotic normality result, which allows us to derive confidence intervals. Under some conditions, our estimator achieves an optimal mean squared error convergence rate. Confidence intervals are data-adaptive and have almost optimal width. A simulation study demonstrates the practical performance of our estimators for the inference of a causal dose-response curve at a given treatment dose.

연구 동기 및 목표

• 비정규적이고 경로별로 미분 가능하지 않은 파라미터(예: 점에서의 밀도 또는 회귀 함수 값)에 대한 최적의 추론 문제를 해결하기 위해.
• 스무딩 수준에 따라 인덱싱된 경로별로 미분 가능한 근사 파라미터를 구성하는 일반적인 프레임워크를 개발하여 효율적인 추정과 추론을 가능하게 하기 위해.
• 평균 제곱 오차를 최적화하고 최종 추정기의 점근적 정규성을 보장하는 스무딩 수준 선택 규칙을 제안하기 위해.
• 정규 조건 하에서 최종 추정기가 최적의 평균 제곱 오차 수렴 속도를 달성하고, 거의 최적의 너비를 갖는 신뢰구간을 제공함을 보여주기 위해.

제안 방법

• 스무딩 수준을 제어하는 스칼라 $\delta$에 따라 인덱싱된 경로별로 미분 가능한 근사 파라미터 $\Psi_\delta(P)$의 가족을 구성한다. 여기서 $\delta$는 스무딩 정도를 제어한다(예: 커널 밀도 추정에서의 밴드위드 또는 성향 스코어 추정에서의 절단 수준).
• 초기 추정기들을 기반으로 한 분포 $P_0$의 추정기들에 기반한 일단 추정기 $\widehat{\Psi}_n(\delta)$를 사용하여, 각 $\delta$에 대해 이중 로버스트성과 점근적 효율성을 확보한다.
• empirical 영향 함수를 기반으로 한 데이터 기반 기준을 최소화하여 최적의 스무딩 수준 $\hat{\delta}_n$을 선택함으로써 최적의 평균 제곱 오차 성능을 확보한다.
• 정규 조건 하에서 최종 추정기 $\widehat{\Psi}_n(\hat{\delta}_n)$의 점근적 정규성을 확립함으로써 유효한 신뢰구간 구축이 가능하다.
• 이론적 타당성을 확보하기 위해 느린 수열 $\tilde{\delta}_{1,n}$과 $\hat{\delta}_{2,n}$을 포함하는 이단계 절차를 사용하며, 실용적 선택은 $\log\widehat{b}'_{2,n}(\delta)$ 대 $\log\delta$ 그래프에서 선형 영역을 기반으로 유도된다.
• 이를 인과적 추론 문제에 적용하여, 알려진 치료 메커니즘 하에서 복용량-반응 곡선 추정을 수행하였으며, 이론적 및 시뮬레이션 검증을 수행하였다.

실험 결과

연구 질문

• RQ1 데이터 적응형 스무딩 절차는 비정규적 파라미터의 비모수 모형에서 최적의 평균 제곱 오차 수렴을 달성할 수 있는가?
• RQ2 스무딩 수준에 따라 인덱싱된 근사 파라미터의 가족을 통해 비정규적 파라미터의 경로별 미분 가능성을 어떻게 복원할 수 있는가?
• RQ3 점근적 정규성과 최적의 추론을 보장하는 최적의 스무딩 수준 선택 규칙은 무엇인가?
• RQ4 최종 추정기가 형태 $\widehat{\Psi}_n(\delta_n)$인 모든 추정기들 중에서 최적의 수렴 속도를 달성할 수 있는가?
• RQ5 진짜 파라미터가 국소적으로 스무딩되지 않을 경우, 유한 표본에서 이 방법은 결정론적 스무딩 수준보다 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 데이터 적응형 스무딩 방법은 정규 조건 하에서 이론적 하한선에 도달하는 최적의 평균 제곱 오차 수렴 속도를 달성한다.
• 선택된 스무딩 수준 $\hat{\delta}_n$에서의 일단 추정기는 점근적으로 정규분포를 따르며, 거의 최적의 너비를 갖는 유효한 신뢰구간 구축이 가능하다.
• 시뮬레이션 결과에서, 이론적으로 최적의 수렴 속도를 기반으로 한 결정론적 스무딩 수준(예: $Cn^{-1/5}$ 또는 $Cn^{-1/7}$)보다도 성능이 뛰어나며, 이는 이론적 최적 수준이 알려져 있더라도 동일하게 성능을 뛰어넘는다.
• 특정 점 $a_0$에서 복용량-반응 곡선에 코가 존재할 경우, 이 방법은 국소적인 비스무딩 특성을 적응적으로 반영하여 전반적인 스무딩을 가정하는 방법보다 뛰어난 성능을 보인다.
• 유한 표본에서 최적의 스무딩 수준은 약 $\approx 0.132n^{-0.183}$로 추정되었으며, 이는 이론적 $n^{-1/5}$와 다소 다름을 보였는데, 이는 표본 크기가 유한할 경우 발생하는 유한 표본 편향을 보완하는 데에 이 방법이 성공적으로 적응하고 있음을 시사한다.
• 실제 적용은 $\log\widehat{b}'_{2,n}(\delta)$ 대 $\log\delta$ 그래프에서 선형 영역을 선택함으로써 가능하며, 이는 강력한 유한 표본 성능을 보장한다.