[논문 리뷰] Near-Optimal Confidence Sequences for Bounded Random Variables

Arun Kumar Kuchibhotla, Qinqing Zheng|arXiv (Cornell University)|2021. 07. 18.

Advanced Bandit Algorithms Research인용 수 1

한 줄 요약

이 논문은 벤트쿠스의 농도 집중 부등식을 사용하여 유계 확률 변수에 대해 near-optimal인 신뢰 구간을 제안하며, 기존의 크라머-체르노프 기반 방법들인 허프딩, 베르누이, 벤넷보다 크게 향상된다. 이로 인해 유한한 표본 크기가 증가하는 동안 균일하게 유효한 구간이 보장되며, 시뮬레이션을 통한 커버리지 및 적응형 정지 응용에서 뛰어난 성능을 보인다.

ABSTRACT

Many inference problems, such as sequential decision problems like A/B testing, adaptive sampling schemes like bandit selection, are often online in nature. The fundamental problem for online inference is to provide a sequence of confidence intervals that are valid uniformly over the growing-into-infinity sample sizes. To address this question, we provide a near-optimal confidence sequence for bounded random variables by utilizing Bentkus' concentration results. We show that it improves on the existing approaches that use the Cram{e}r-Chernoff technique such as the Hoeffding, Bernstein, and Bennett inequalities. The resulting confidence sequence is confirmed to be favorable in both synthetic coverage problems and an application to adaptive stopping algorithms.

연구 동기 및 목표

• 온라인 추론 문제에서 증가하는 표본 크기 동안 균일하게 유효한 신뢰 구간을 구성하는 데 도전하는 것.
• 허프딩, 베르누이, 벤넷 부등식을 포함한 기존의 크라머-체르노프 기반 신뢰 구간을 개선하는 것.
• 유계 확률 변수에 대해 near-optimality를 달성하는 방법을 개발하는 것.

제안 방법

• 유계 확률 변수의 더 날카운 꼬리 경계를 도출하기 위해 벤트쿠스의 농도 부등식을 활용한다.
• 개선된 농도 성질을 활용하여 모든 표본 크기에서 균일하게 유효한 구간을 유지하는 신뢰 구간을 구성한다.
• 더 많은 데이터를 관측할수록 점차 좁아지는 적응형 신뢰 구간의 시퀀스를 설계하여 무한한 수준에서도 커버리지가 보장되도록 한다.
• 벤트쿠스 경계의 구조를 이용하여 구간의 너비를 최소화하면서도 정확한 커버리지 보장을 유지한다.
• 유도된 신뢰 구간을 순차적 결정 문제와 적응형 샘플링 기법에 적용한다.
• 합성 실험과 실제 응용을 통해 방법의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 기존의 크라머-체르노프 기반 방법들보다 더 좁고 균일하게 유효한 유계 확률 변수에 대한 신뢰 구간을 구성할 수 있는가?
• RQ2 벤트쿠스의 농도 부등식을 사용할 경우 허프딩, 베르누이, 벤넷 부등식과 비교해 구간 너비와 커버리지 측면에서 어떻게 다른가?
• RQ3 제안된 신뢰 구간은 적응형 정지 및 순차적 검정 시나리오에서 강력한 유한 표본 성능을 유지하는가?

주요 결과

• 제안된 신뢰 구간은 모든 표본 크기에서 균일하게 유효하면서도 너비 측면에서 near-optimality를 달성한다.
• 허프딩, 베르누이, 벤넷 기반의 기존 신뢰 구간에 비해 구간 너비 측면에서 뚜렷한 개선을 보인다.
• 합성 실험을 통해 다양한 유계 분포에서 정확한 커버리지 확률이 유지됨을 확인하였다.
• 적응형 정지 알고리즘에서는 기존 기반 방법에 비해 더 이르게 정지를 가능하게 하며 더 높은 신뢰도를 제공한다.
• 유계 확률 변수 프레임워크 내 다양한 데이터 생성 과정에서 뛰어난 안정성과 성능을 보였다.