[논문 리뷰] On nearly assumption-free tests of nominal confidence interval coverage for causal parameters estimated by machine learning

Lin Liu, Rajarshi Mukherjee외 1명|arXiv (Cornell University)|2019. 04. 08.

Statistical Methods and Inference참고 문헌 65인용 수 5

한 줄 요약

이 논문은 이중으로 강건한 기계학습을 통해 추정된 인과적 파라미터에 대한 명목상의 신뢰구간의 타당성을 평가하기 위한 새로운 U통계량 기반 방법인 가정 없는 경험적 커버리지 검정(AFACTs)을 소개한다. AFECTs는 추정량의 편향이 표준오차와 같은 주기수준에 있는지 여부를 평가하며, 이는 커버리지 타당성에 필수적이지만, 오염 매개변수에 대한 부드러움 또는 희박성 가정을 필요로 하지 않아 고차원 설정에서 추론 신뢰성에 대한 강건한 점검을 제공한다.

ABSTRACT

For many causal effect parameters of interest, doubly robust machine learning (DRML) estimators $\hatψ_{1}$ are the state-of-the-art, incorporating the good prediction performance of machine learning; the decreased bias of doubly robust estimators; and the analytic tractability and bias reduction of sample splitting with cross fitting. Nonetheless, even in the absence of confounding by unmeasured factors, the nominal $(1 - α)$ Wald confidence interval $\hatψ_{1} \pm z_{α/ 2} \widehat{\mathsf{se}} [\hatψ_{1}]$ may still undercover even in large samples, because the bias of $\hatψ_{1}$ may be of the same or even larger order than its standard error of order $n^{-1/2}$. In this paper, we introduce essentially assumption-free tests that (i) can falsify the null hypothesis that the bias of $\hatψ_{1}$ is of smaller order than its standard error, (ii) can provide an upper confidence bound on the true coverage of the Wald interval, and (iii) are valid under the null under no smoothness/sparsity assumptions on the nuisance parameters. The tests, which we refer to as \underline{A}ssumption \underline{F}ree \underline{E}mpirical \underline{C}overage \underline{T}ests (AFECTs), are based on a U-statistic that estimates part of the bias of $\hatψ_{1}$.

연구 동기 및 목표

• 기계학습 추정량의 편향으로 인해 큰 표본에서도 명목상의 신뢰구간이 커버리지가 부족해질 수 있는 위험을 해결하기 위해.
• 부드러움 또는 희박성 가정 없이, 편향이 표준오차에 비해 무시할 만큼 작다는 귀무가설을 기각할 수 있는 검정을 개발하기 위해.
• 이중으로 강건한 기계학습 추정량에 대한 월드 신뢰구간의 진짜 커버리지 비율에 대한 상한 신뢰구간을 제공하기 위해.
• 기존의 오염 매개변수 추정에 대한 가정이 실패할 수 있는 고차원 설정에서 유효한 추론을 가능하게 하기 위해.

제안 방법

• AFECTs는 이중으로 강건한 기계학습 추정량의 편향 성분을 추정하는 U통계량에 기반한다.
• 표본 분할 및 교차피팅 방법을 사용하여 오염 매개변수 추정에 대한 의존도를 줄인다.
• 고차 영향 함수를 활용하여 추정량의 편향 기여도를 분해하고 추정한다.
• 진짜 공분산 행렬이 알려지지 않은 경우에도 영향 함수의 공분산 행렬에 대한 강건한 추정량을 사용한다.
• 부드러움 또는 오염 매개변수의 희박성 없이도 최소한의 정규성 조건 하에서 渐近적으로 타당한 검정이다.
• 직접 커버리지 검정이 불가능한 경우에도, 명목 커버리지의 타당성을 뒷받침하는 가정의 타당성을 검증할 수 있다.

실험 결과

연구 질문

• RQ1 오염 매개변수에 대한 부드러움 또는 희박성 가정 없이도, 이중으로 강건한 기계학습 추정량의 편향이 표준오차와 같은 주기수준에 있는지 검정할 수 있는가?
• RQ2 데이터 생성 과정에 대한 파라미터 가정 없이도, 명목 월드 신뢰구간의 진짜 커버리지 비율에 대한 상한 신뢰구간을 구성할 수 있는가?
• RQ3 오염 추정량이 잘 동작하지 않을 경우에도, 편향이 표준오차에 비해 무시할 만큼 작다는 귀무가설 하에서 유효한 검정을 개발할 수 있는가?
• RQ4 기존의 가정(예: 부드러움)이 위반될 경우, AFECTs가 신뢰구간의 커버리지가 낮아지는 것을 어느 정도 감지할 수 있는가?
• RQ5 복잡한 의존 구조를 가진 고차원, 비부드러운 설정에서 AFECTs의 성능은 기존 방법과 어떻게 비교되는가?

주요 결과

• AFECTs는 부드러움 또는 희박성 가정 없이도, 이중으로 강건한 기계학습 추정량의 편향이 표준오차보다 더 작은 주기수준에 있다는 귀무가설을 기각할 수 있다.
• 이 방법은 최소한의 정규성 조건 하에서 명목 월드 구간의 진짜 커버리지 비율에 대한 상한 신뢰구간을 제공하며, 이는 타당하다.
• 시뮬레이션 결과에서, 편향이 표준오차와 같은 주기수준에 있을 경우, 특히 비부드럽고 고차원적인 설정에서 AFECTs는 커버리지가 낮아지는 것을 성공적으로 감지하였다.
• 추정된 공분산 행렬이 데이터 적응적이고 이론적 성질이 완전히 확립되지 않은 경우에도 검정은 여전히 타당하다.
• AFECTs의 U통계량 기반 접근은 오염 매개변수의 모형 잘못 설정에 강건하며, 귀무가설 하에서도 정확한 크기를 유지한다.
• AFECTs는 모든 인과적 파rameter에 대해 직접적으로 커버리지가 낮아지는지를 검정할 수는 없지만, 명목 커버리지를 정당화하는 데 사용된 가정(예: 부드러움)의 타당성을 검증할 수 있어, 추론 검증을 위한 실용적인 길을 제공한다.