[논문 리뷰] Optimal Stopping Rules for Sequential Hypothesis Testing

Akshay Balsubramani|arXiv (Cornell University)|2014. 05. 12.

Markov Chains and Monte Carlo Methods참고 문헌 14인용 수 21

한 줄 요약

이 논문은 새로운 지수 모멘트 방법을 사용하여, 평균화된 초마르팅게일과 정지 시간을 활용하여, 마르팅게일에 대한 날카롭고 유한 시간 내 농도 경계를 수립한다. 이는 반복 로그 법칙(LIL)을 시간에 대해 균일한 통제로 일반화한 것으로, 비점근적이고 시간에 대해 균일한 LIL 경계를 제공하며, 최적의 상수를 가진다. 이는 Hoeffding 및 Bernstein과 같은 고전적인 농도 경계의 유한 시간 대체물이며, 순차적 가설 검정 및 순차적 분석에서 개선된 유한 표본 보장을 제공한다.

ABSTRACT

Suppose that we are given sample access to an unknown distribution p over n elements and an explicit distribution q over the same n elements. We would like to reject the null hypothesis "p=q" after seeing as few samples as possible, when p =/= q, while we never want to reject the null, when p=q. Well-known results show that Theta(sqrt{n}/epsilon^2) samples are necessary and sufficient for distinguishing whether p equals q versus p is epsilon-far from q in total variation distance. However, this requires the distinguishing radius epsilon to be fixed prior to deciding how many samples to request. Our goal is instead to design sequential hypothesis testers, i.e. online algorithms that request i.i.d. samples from p and stop as soon as they can confidently reject the hypothesis p=q, without being given a lower bound on the distance between p and q, when p =/= q. In particular, we want to minimize the number of samples requested by our tests as a function of the distance between p and q, and if p=q we want the algorithm, with high probability, to never reject the null. Our work is motivated by and addresses the practical challenge of sequential A/B testing in Statistics. We show that, when n=2, any sequential hypothesis test must see Omega(1/{d_{tv}(p,q)^2} log log 1/{d_{tv}(p,q)}) samples, with high (constant) probability, before it rejects p=q, where d_{tv}(p,q) is the - unknown to the tester - total variation distance between p and q. We match the dependence of this lower bound on d_{tv}(p,q) by proposing a sequential tester that rejects p=q from at most O({\sqrt{n}}/{d_{tv}(p,q)^2}log log 1/{d_{tv}(p,q)}) samples with high (constant) probability. The Omega(sqrt{n}) dependence on the support size n is also known to be necessary. We similarly provide two-sample sequential hypothesis testers, when sample access is given to both p and q, and discuss applications to sequential A/B testing.

연구 동기 및 목표

• 점근적 반복 로그 법칙(LIL)과 순차적 스토케스틱 과정에서의 유한 시간 농도 간 격차를 메우기 위해.
• 최적의 상수를 가진 시간에 대해 균일한 마르팅게일 농도 경계를 개발하여 순차적 가설 검정 및 순차적 분석에 적용 가능하도록 하기 위해.
• 고전적인 부등식들(Hoeffding, Bernstein)을 유한 시간 내에서 시간에 대해 균일한 형태로 통합 및 일반화하여, 시간 t와 신뢰 수준 δ 사이의 정확한 트레이드오프를 제공하기 위해.
• 중앙극한정리 영역(O(√t log(1/δ)))와 LIL 영역(O(√t log log t))를 동시에 포괄하는 단일 날카로운 경계로, 점근적이지 않은 LIL의 형태를 수립하기 위해.
• 반대 농도 부등식을 통한 경계의 최적성 증명을 통해 시간 t와 실패 확률 δ 사이의 트레이드오프가 날카로운지 확인하기 위해.

제안 방법

• 지수 모멘트 방법을 사용하여, 연속적인 매개변수 λ의 가중 평균 초마르팅게일을 정교하게 구성함으로써 마르팅게일의 생성 함수를 제어한다.
• 정지 시간을 활용하여 분석을 局부화하고, 모든 유한 시간 t에 대해 균일한 경계를 유도하며, δ에 의존하는 시간에 따라 변화하는 초기 임계값 τ₀를 도입한다.
• λ ∈ (−1/exp_v(2), 1/exp_v(2)) ⋯ {0} 에 대해 확률 분포 P^v_λ 의 가중 가중치를 도입하여 평균화 과정을 정교화하고, √t log log t 항의 주요 상수를 감소시킨다.
• Gaussian 유사 함수의 P^v_λ 위에서의 적분에 대한 정교한 하한을 적용하여 난이도 높은 경계를 보다 정확한 점근적 전개로 대체함으로써 최적의 상수를 달성한다.
• 농도 추론을 반대로 적용하여 반대 농도 부등식을 증명함으로써, 경계가 상수 요인 이내로 향상될 수 없음을 보여주며, 최적성의 증명을 완성한다.
• 유한 시간 내에서 균일한 실패 확률 δ를 가지는 유한 시간 내에서의 유한 차이 마르팅게일(Hoeffding 유형)과 서브지수 유형 마르팅게일(Bernstein 유형)에 대해 균일한 경계를 유도한다.

실험 결과

연구 질문

• RQ1 반복 로그 법칙(LIL)은 마르팅게일에 대해 끝없는 시간 내에서 균일한 농도 경계로 일반화될 수 있는가?
• RQ2 균일한 마르팅게일 농도에서 시간 t와 신뢰 수준 δ 사이의 최적 트레이드오프는 무엇이며, 정확히 특징지을 수 있는가?
• RQ3 제안된 마르팅게일의 유한 시간 경계는 반대 농도 행동과 일치하는 바에 따라 최적인가?
• RQ4 정교한 평균화 기법을 사용하여 √t log log t 항의 주요 상수를 √6 에서 점근적으로 최적의 √2 로 향상시킬 수 있는가?
• RQ5 고전적인 농도 부등식(Hoeffding, Bernstein)은 어떻게 모든 유한 시간 동안 유효한 날카로운 상수를 가진 균일한 형태로 일반화될 수 있는가?

주요 결과

• 논문은 라데마처 랜덤 워크에 대해 날카롭고 시간에 대해 균일한 농도 경계를 수립한다: 확률 ≥1−δ 에 대해, 모든 t ≥ C log(4/δ) 에 대해 |Mt| ≤ √(3t (2 log log(5t/(2|Mt|)) + log(2/δ))) 이며, C=173 이다.
• 경계는 끝없는 시간 내 트레이드오프를 보이며, t ≲ exp(1/δ) 인 경우 주된 항은 O(√(t log(1/δ))) 로서 중심극한정리 유형의 경계와 유사하다.
• 큰 t와 고정된 δ > 0 인 경우, 경계는 O(√(t log log t)) 로 수렴하며, 이는 점근적 LIL 속도와 일치하며, 이 속도는 향상될 수 없다.
• 일치하는 반대 농도 부등식이 증명되어, 경계가 상수 요인 이내로 향상될 수 없음을 보여주며, 최적성의 확인이 이루어진다.
• v ≥ 2 인 경우 정교한 분포 P^v_λ 를 사용함으로써, √t log log t 항의 주요 상수는 √6 에서 √2 로 감소되었으며, 점근적으로 최적화되었다.
• 이 방법은 유한 차이 마르팅게일 및 서브지수 유형 마르팅게일을 포함한 광범위한 마르팅게일 클래스로 일반화되며, 최적의 상수를 가진 균일한 Hoeffding 및 Bernstein 유형의 경계를 제공한다.