[논문 리뷰] Uniform, nonparametric, non-asymptotic confidence sequences

Steven R. Howard, Aaditya Ramdas외 2명|arXiv (Cornell University)|2018. 10. 18.

Random Matrices and Applications인용 수 19

한 줄 요약

이 논문은 Cramér-Chernoff 방법, 반복 로그 법칙(LIL), 및 순차적 확률 비율 검정(SPRT) 간의 새로운 연결을 통해 시간이 지남에 따라 너비가 점차 줄어드는, 균일하고 비모수적이며 비점근적인 신뢰 구간을 제안한다. 최소한의 가정 하에, 즉 서브-가우시안 및 베르누이 타입의 모멘트 조건, 자기정규화된 과정, 행렬 마르팅글 등에 대해 유한 표본 커버리지 보장을 제공하며, 공분산 추정 및 치료 효과 추론에 적용 가능하다.

ABSTRACT

A confidence sequence is a sequence of confidence intervals that is uniformly valid over an unbounded time horizon. In this paper, we develop confidence sequences whose widths go to zero, with non-asymptotic coverage guarantees under nonparametric conditions. Our technique draws a connection between the classical Cram\'er-Chernoff method for exponential concentration bounds, the law of the iterated logarithm (LIL), and the sequential probability ratio test---our confidence sequences extend the first to time-uniform concentration bounds; provide tight, non-asymptotic characterizations of the second; and generalize the third to nonparametric settings, including sub-Gaussian and Bernstein conditions, self-normalized processes, and matrix martingales. We illustrate the generality of our proof techniques by deriving an empirical-Bernstein bound growing at a LIL rate, as well as a novel upper LIL for the maximum eigenvalue of a sum of random matrices. Finally, we apply our methods to covariance matrix estimation and to estimation of sample average treatment effect under the Neyman-Rubin potential outcomes model.

연구 동기 및 목표

• 무한 시간 범위에서 점근적 근사에 의존하지 않고도 균일한 유효성을 유지하는 신뢰 구간을 개발하는 것.
• 서브-가우시안 또는 베르누이 타입의 모멘트 제약 조건과 같은 비모수적 조건 하에서, 신뢰 구간의 너비가 0으로 수렴하도록 보장하는 것.
• 순차적 확률 비율 검정(SPR) 방법을 비모수적 설정, 특히 행렬 값 및 자기정규화된 과정으로 일반화하는 것.
• 공분산 행렬과 표본 평균 치료 효과와 같은 통계 기능에 대해 유한 표본 기반의 비점근적 커버리지 보장을 제공하는 것.
• 고전적인 농도 경계, 반복 로그 법칙, 순차적 검정을 하나의 시간에 균일한 프레임워크 안에서 통합하는 것.

제안 방법

• 고정된 시간 기반의 경계를 넘어서, 시간에 균일한 지수적 농도 경계를 도출하기 위해 Cramér-Chernoff 방법을 활용한다.
• 반복 로그 법칙(LIL)과 순차적 신뢰 구간 간의 연결을 수립하여, LIL 유형의 변동성을 비점근적으로 기술한다.
• 시간에 균일한 마르팅글 프레임워크 내에 통합함으로써, 순차적 확률 비율 검정(SPR) 프레임워크를 비모수적 설정에 적용한다.
• 서브-가우시안 또는 베르누이 조건 하에서 더 날카운, 적응형 신뢰 구간을 가능하게 하는, 새로운 경험적-Bernstein 경계를 유도한다. 이 경계는 LIL 속도로 증가한다.
• 모르는 분산을 다루기 위해 자기정규화 기법을 적용하여 순차 추정의 강건성을 향상시킨다.
• 행렬 값 마르팅글로의 프레임워크를 확장하여, 랜덤 행렬의 합의 최대 고유값에 대한 새로운 상한을 도출한다.

실험 결과

연구 질문

• RQ1 서브-가우시안 또는 베르누이 타입의 가정과 같은 최소한의 모멘트 조건 하에서, 너비가 줄어들고 비점근적 커버리지가 보장되는 신뢰 구간을 구성할 수 있는가?
• RQ2 고전적인 Cramér-Chernoff 방법은 어떻게 시간에 균일한 농도 경계를 도출하도록 확장될 수 있는가?
• RQ3 반복 로그 법칙(LIL)은 어떻게 비점근적이고 순차적인 프레임워크에서, 유한 표본 유효성을 갖는 방식으로 기술될 수 있는가?
• RQ4 순차적 확률 비율 검정(SPR)은 비모수적 및 행렬 값 설정으로 얼마나 일반화될 수 있는가?
• RQ5 이 프레임워크는 고차원 또는 복잡한 모델, 예를 들어 공분산 추정 및 치료 효과 분석에서 추론에 어떤 영향을 미치는가?

주요 결과

• 제안된 신뢰 구간은 서브-가우시안 및 베르누이 조건 하에서, 무한 시간 범위에서 균일한 유효성과 비점근적 커버리지 보장을 달성한다.
• LIL 속도로 증가하는 새로운 경험적-Bernstein 경계가 도출되었으며, 이는 순차적 설정에서 더 날카운, 적응형 신뢰 구간을 가능하게 한다.
• 랜덤 행렬의 합의 최대 고유값에 대한 새로운 상한이 확립되었으며, 이는 LIL을 행렬 마르팅글로 일반화한 것이다.
• 이 프레임워크는 공분산 행렬 추정에 대해 비모수적이고 유한 표본 커버리지가 보장되는 신뢰 구간을 성공적으로 제공한다.
• 모르는 분산이 존재하더라도, 네이먼-루빈 잠재 결과 모델 하에서 표본 평균 치료 효과에 대해 유효한 신뢰 구간을 제공한다.
• 이론적 분석을 통해, 최소한의 모멘트 조건 하에서, 시간이 지남에 따라 신뢰 구간의 너비가 0으로 수렴함을 확인하였으며, 이는 장기적 정밀도를 보장한다.