[논문 리뷰] Time-uniform central limit theory and asymptotic confidence sequences

Ian Waudby-Smith, David Arbour외 3명|arXiv (Cornell University)|2021. 03. 11.

Probability and Risk Models인용 수 4

한 줄 요약

이 논문은 시간에 대해 균일한 프레임워크인 渐近적 신뢰구간 시퀀스(AsympCSs)를 소개한다. 이는 고전적 중심극한정리(CLT) 추론을 순차적 설정으로 확장하는 새로운 방법이다. Strassen과 Komlós-Major-Tusnády의 강한 불변성 원리를 활용하여, CLT가 요구하는 것과 동일한 약한 모멘트 조건 하에서 보편적으로 유효한 신뢰구간 시퀀스를 구성함으로써, 인과추론의 연속적 모니터링과 적응형 정지가 가능해지며, 점점 더 효율적인 점근적 추론을 유지한다.

ABSTRACT

Confidence intervals based on the central limit theorem (CLT) are a cornerstone of classical statistics. Despite being only asymptotically valid, they are ubiquitous because they permit statistical inference under weak assumptions and can often be applied to problems even when nonasymptotic inference is impossible. This paper introduces time-uniform analogues of such asymptotic confidence intervals, adding to the literature on confidence sequences (CS) -- sequences of confidence intervals that are uniformly valid over time -- which provide valid inference at arbitrary stopping times and incur no penalties for "peeking" at the data, unlike classical confidence intervals which require the sample size to be fixed in advance. Existing CSs in the literature are nonasymptotic, enjoying finite-sample guarantees but not the aforementioned broad applicability of asymptotic confidence intervals. This work provides a definition for "asymptotic CSs" and a general recipe for deriving them. Asymptotic CSs forgo nonasymptotic validity for CLT-like versatility and (asymptotic) time-uniform guarantees. While the CLT approximates the distribution of a sample average by that of a Gaussian for a fixed sample size, we use strong invariance principles (stemming from the seminal 1960s work of Strassen) to uniformly approximate the entire sample average process by an implicit Gaussian process. As an illustration, we derive asymptotic CSs for the average treatment effect in observational studies (for which nonasymptotic bounds are essentially impossible to derive even in the fixed-time regime) as well as randomized experiments, enabling causal inference in sequential environments.

연구 동기 및 목표

• 고전적 중심극한정리(CLT) 추론과 시간에 대해 균일한 추론 사이의 격차를 메우기 위해 점근적 신뢰구간 시퀀스(AsympCSs)를 정의하는 것.
• 고전적 중심극한정리가 요구하는 것과 동일한 약한 모멘트 조건 하에서도 유효성을 유지하는 보편적인 AsympCS를 개발하는 것.
• 비점근적 경계가 존재하지 않는 관찰 연구와 같은 환경에서, 비점근적 경계가 불가능한 상황에서도 연속적이고 데이터 적응형 모니터링과 추론을 가능하게 하는 것.
• 점근적 추론의 광범위한 적용성과 신뢰구간 시퀀스의 유연성을 결합하면서, 들여다보기나 조기 정지를 해도 손해를 보지 않는 프레임워크를 제공하는 것.

제안 방법

• Strassen과 Komlós-Major-Tusnády의 강한 불변성 원리를 사용하여, 시간에 걸쳐 표본 평균 과정을 가우시안 과정으로 균일하게 근사한다.
• Robbins의 정규혼합 경계를 적용하여 정확한 제1종 오류 통제를 갖는 시간에 대해 균일한 신뢰구간 시퀀스를 구성한다.
• 순차적 표본 분할과 교차피팅을 활용하여 반모수모형에서의 성분함수를 추정하면서도 점근적 유효성을 유지한다.
• 효율적 영향함수를 사용하여 평균 치료효과에 대한 점근적 신뢰구간 시퀀스를 유도하며, 분산 추정은 $σ^2_t = \widehat{\mathrm{var}}_t(\widehat{f})$를 통해 수행한다.
• AsympCS의 너비가 효율적 영향함수의 추정 표준편차에 비례하여 스케일링됨을 입증하여, 비점근적 설정에서도 분산 적응성을 확보한다.
• 유도된 AsympCS가 핵심 구성 요소에서 향상될 수 없음을 증명한다: 정규혼합 경계, 근사 오차율, 표준오차 추정 방식 모두에서 기본적인 제약이 존재하기 때문이다.

실험 결과

연구 질문

• RQ1 고전적 중심극한정리가 요구하는 것과 동일한 약한 모멘트 조건 하에서 점근적으로 유효한 시간에 대해 균일한 신뢰구간 시퀀스를 구성할 수 있는가?
• RQ2 비점근적 경계가 필요 없이, 데이터에 따라 결정되는 정지 시간에서도 유효성을 유지하는 점근적 신뢰구간 시퀀스를 구성할 수 있는가?
• RQ3 비점근적 경계가 존재하지 않는 관찰 연구와 같은 상황에서 인과추론의 순차적 설정으로 점근적 추론을 어떻게 확장할 수 있는가?
• RQ4 기존 CLT 간격에서와 마찬가지로, 추정된 분산에 따라 신뢰구간 너비를 적응적으로 스케일링하면서도 시간에 대해 균일한 커버리지 유지가 가능한가?
• RQ5 신뢰구간 너비를 더 좁힐 수 있는 기본적인 한계가 존재하는가? 그리고 제안된 구성은 최소최대 의미에서 최적인가?

주요 결과

• 제안된 점근적 신뢰구간 시퀀스는 고전적 중심극한정리가 요구하는 것과 동일한 모멘트 조건 하에서 보편적으로 유효하여 광범위한 적용 가능성을 지닌다.
• 신뢰구간 시퀀스의 너비는 효율적 영향함수의 추정 표준편차에 비례하여 스케일링되며, 비점근적 설정에서도 분산 적응성을 달성한다.
• 고정된 표본 크기 조건 없이도 시간에 대해 균일한 커버리지를 달성하여, 제1종 오류가 증가하지 않는 연속적 모니터링과 적응형 정지를 가능하게 한다.
• 강한 불변성 원리에서 유래하는 기본적인 제약으로 인해, 핵심 구성 요소인 정규혼합 경계, 근사 오차율, 표준오차 추정 방식에서 향상될 수 없다.
• 비점근적 경계가 불가능한 상황에서도 순차적 모니터링 하에서 관찰 연구 및 무작위 실험 모두에서 평균 치료효과에 대한 인과추론이 가능하다.
• Robbins의 정규혼합 경계와 표본 평균이 브라운 운동으로 거의확실하게 근사되는 것에서 유래한 최적성 덕분에, 이 방법은 순차적 설정에서 최소최대 최적이다.