[논문 리뷰] Estimating means of bounded random variables by betting

Ian Waudby-Smith, Aaditya Ramdas|arXiv (Cornell University)|2020. 10. 19.

Statistical Methods and Inference인용 수 5

한 줄 요약

이 논문은 유계 확률변수에 대해 보편적 시간 기반 신뢰구간과 고정 시간 기반 신뢰구간을 구성하기 위한 새로운 베팅 기반 프레임워크를 제안한다. 이는 확률적 추정에서의 유계 조건 하에서 평균 추정의 새로운 최고 수준을 확립하며, 복합 비음성 초마팅게일과 적응형 베팅 전략을 활용하여 기존의 허프딩 및 경험 베르누이 불등식보다 더 날카운 신뢰구간을 달성한다.

ABSTRACT

This paper derives confidence intervals (CI) and time-uniform confidence sequences (CS) for the classical problem of estimating an unknown mean from bounded observations. We present a general approach for deriving concentration bounds, that can be seen as a generalization and improvement of the celebrated Chernoff method. At its heart, it is based on a class of composite nonnegative martingales, with strong connections to testing by betting and the method of mixtures. We show how to extend these ideas to sampling without replacement, another heavily studied problem. In all cases, our bounds are adaptive to the unknown variance, and empirically vastly outperform existing approaches based on Hoeffding or empirical Bernstein inequalities and their recent supermartingale generalizations. In short, we establish a new state-of-the-art for four fundamental problems: CSs and CIs for bounded means, when sampling with and without replacement.

연구 동기 및 목표

• 비점근적, 비모수적 설정에서 유계 확률변수의 평균에 대한 신뢰구간과 신뢰구간을 개발하는 것.
• 기존의 순차 분석에서 오랫동안 해결되지 않은 문제였던, 무작위로 선택하지 않고 복원 없이 추출하는 경우에 이러한 방법을 확장하는 것.
• 베팅에 영감을 받은 마팅게일 프레임워크를 통해 기존의 농도 불등식을 통합하고 개선하는 것.
• 모르는 분산에 자동으로 적응하는 성능을 달성하여 이전 방법보다 경험적으로 더 날카운 결과를 얻는 것.

제안 방법

• 베팅 기반 자본 과정을 통해 복합 비음성 초마팅게일을 구성함으로써 순차적 검정과 농도 불등식을 연결한다.
• 크라머-체르노프 초마팅게일에 대해 예측 가능한 플러그인 전략을 사용하여 닫힌 형태의 신뢰집합을 가능하게 한다.
• 더 나은 자본 성장과 더 날카운 신뢰집합을 위해 GRAPA(Growth Rate Adaptive to the Alternative) 및 aGRAPA와 같은 적응형 베팅 전략을 도입한다.
• 적대적 관측 시퀀스 상황에서도 강건성을 확보하기 위해 헤지드 자본 과정을 유도한다.
• 자본 과정을 초기 기하분포 유사 샘플링 경로 위의 마팅게일로 모델링하여 복원 없이 추출하는 경우에 이 프레임워크를 적응시킨다.
• 유한한 수의 단계와 순차적 설정에서 성능을 향상시키기 위해 순차적 재균형과 다각화된 켈리 베팅을 사용한다.

실험 결과

연구 질문

• RQ1 베팅 기반 프레임워크는 유계 평균에 대해 기존의 허프딩 유형 불등식보다 더 날카운 시간 기반 구간과 구간을 생성할 수 있는가?
• RQ2 관측치 간의 의존성이 복잡하게 만드는 복원 없이 추출하는 경우에 베팅 프레임워크는 어떻게 적응시킬 수 있는가?
• RQ3 시간 기반 및 고정 시간 설정 모두에서 최적의 수렴 속도와 날카운 신뢰집합을 얻는 데 어떤 베팅 전략이 가장 효과적인가?
• RQ4 제안된 신뢰집합은 경험 베르누이 또는 허프딩의 초마팅게일 일반화에 기반한 것과 비교해 실제로 어떻게 다른가?
• RQ5 이 방법은 분산이나 분포 형태에 대한 사전 지식 없이도 적응형 성능을 달성할 수 있는가?

주요 결과

• 제안된 베팅 기반의 시간 기반 구간과 구간은 허프딩 또는 경험 베르누이 불등식에서 유도된 것보다 경험적 및 이론적으로 더 날카운 결과를 보인다.
• 이 방법은 알려지지 않은 분산에 자동으로 반응하는 적응형 성능을 달성하며, 사전 지식이나 튜닝이 필요하지 않다.
• 복원 없이 추출하는 경우, 초기 기하분포 유사 자본 과정을 사용하여 유효한 시간 기반 구간을 구성할 수 있으며, 이는 의존적인 샘플링에 대한 마팅게일 접근을 확장한다.
• aGRAPA 및 ConBo 베팅 전략은 표준 베팅 전략에 비해 유의미하게 향상된 자본 성장과 더 날카운 구간을 제공한다.
• 이론적 분석 결과, 베팅 기반의 시간 기반 구간은 최적의 √n 수렴 속도를 달성하며, 기존의 최고 수준의 모수적 수렴 속도와 일치한다.
• 시뮬레이션 결과, 제안된 방법은 간격 너비와 커버리지 빈도 측면에서 Howard 등이 제안한 초마팅게일 일반화 방법보다 일관되게 뛰어나다.