[논문 리뷰] Variance-adaptive confidence sequences by betting

Ian Waudby-Smith, Aaditya Ramdas|arXiv (Cornell University)|2020. 10. 19.

Statistical Methods and Inference인용 수 5

한 줄 요약

이 논문은 베팅과 혼합 방법에 영감을 받은 새로운 마르팅게일 기반 접근을 사용하여 유계 랜덤 변수에 대해 분산 적응형 신뢰 구간을 제안한다. 복합 비음수 마르팅게일을 구성함으로써 유한 표본 설정에서 허프딩과 경험 베르누이 근사보다 더 날카운 신뢰 구간을 달성한다.

ABSTRACT

This paper derives confidence intervals (CI) and time-uniform confidence sequences (CS) for an unknown mean based on bounded observations. Our methods are based on a new general approach for deriving concentration bounds, that can be seen as a generalization (and improvement) of the classical Chernoff method. At its heart, it is based on deriving a new class of composite nonnegative martingales with initial value one, with strong connections to betting and the method of mixtures. We show how to extend these ideas to sampling without replacement. In all cases considered, the bounds are adaptive to the unknown variance, and empirically outperform competing approaches based on Hoeffding's or empirical Bernstein's inequalities and their recent supermartingale generalizations.

연구 동기 및 목표

• 모르는 분산을 고려한 유계 랜덤 변수의 평균에 대해 시간에 관계없이 유효한 신뢰 구간(신뢰 시퀀스)을 개발한다.
• 허프딩과 경험 베르누이 근사와 같은 고전적 농도 경계를 분산 적응성을 통합하여 향상시킨다.
• 베팅에 영감을 받은 마르팅게일 프레임워크를 통해 고전적 케르노프 방법을 일반화하고 향상시킨다.
• 제안된 방법을 무작위로 추출하지 않는 상황으로 확장한다.
• 기존의 수퍼마르팅게일 기반 접근법과 비교하여 더 뛰어난 유한 표본 성능을 실증적으로 검증한다.

제안 방법

• 베팅 전략과 혼합 방법에서 유도된 초기 값이 1인 복합 비음수 마르팅게일의 새로운 클래스를 구성한다.
• 이 마르팅게일을 사용하여 유계 관측치의 알려지지 않은 분산에 적응하는 농도 경계를 유도한다.
• 표본 추출이 있는지 여부에 관계없이 이 방법을 적용하여 순차적 및 유한 모집단 설정으로의 적용 범위를 확장한다.
• 베팅에 영감을 받은 프레임워크를 통해 분산 정보를 통합함으로써 고전적 케르노프 방법을 일반화한다.
• 마르팅게일 성질이 시간에 걸쳐 유지되도록 보장함으로써 시간에 관계없이 유효한 신뢰 시퀀스를 유도한다. 이는 순차적 추론을 가능하게 한다.
• 다양한 베팅 전략을 조합하기 위해 혼합 기반 접근법을 사용하여 경계의 강건성과 날카움을 향상시킨다.

실험 결과

연구 질문

• RQ1 베팅에 영감을 받은 마르팅게일 프레임워크는 고전적 방법보다 더 날카운, 분산 적응형 신뢰 시퀀스를 도출할 수 있는가?
• RQ2 이 제안된 방법은 유한 표본 설정에서 허프딩과 경험 베르누이 근사와 비교해 어떻게 성능을 보이는가?
• RQ3 무작위로 추출하지 않는 상황으로 확장할 때 분산 적응성을 유지할 수 있는 정도는 어느 정도인가?
• RQ4 이 새로운 마르팅게일 구성은 기존의 수퍼마르팅게일 기반 농도 경계 일반화보다 뛰어난 성능을 보일 수 있는가?
• RQ5 신뢰 시퀀스 유도에 혼합 기반 접근법을 사용할 때 이론적·실증적 이점은 무엇인가?

주요 결과

• 제안된 방법은 유계 관측치의 알려지지 않은 분산에 적응하여 더 날카운 간격을 제공한다.
• 실증 결과는 이론적 유한 표본 시나리오에서 허프딩과 경험 베르누이 근사보다 뛰어난 성능을 보임을 보여준다.
• 구간 폭과 커버리지 안정성 측면에서 최근의 수퍼마르팅게일 기반 농도 경계 일반화보다 성능이 뛰어나다.
• 베팅에 영감을 받은 마르팅게일 구성은 사전 지식 없이도 분산 정보를 자연스럽고 효과적으로 통합할 수 있게 한다.
• 무작위로 추출하지 않는 상황으로의 확장은 이론적 보장을 유지하면서도 유한 모집단 설정에서 실용적 성능을 향상시킨다.
• 혼합 방법을 통해 유도된 복합 비음수 마르팅게일은 시간에 관계없이 유효한 추론을 위한 강건하고 유연한 기반을 제공한다.