[논문 리뷰] Anytime-Valid Inference for Multinomial Count Data

Michael Lindon, Alan Malek|arXiv (Cornell University)|2020. 11. 06.

Statistical Methods in Clinical Trials인용 수 6

한 줄 요약

이 논문은 옵셔널 스탑잉과 연속 모니터링 하에서 제1종 오류 통제를 유지하는 신뢰구간 시퀀스와 순차적 가설 검정을 사용하여 다항도수 자료에 대한 언제라도 유효한 추론 프레임워크를 제안한다. 이는 시간에 따라 변하는 비율을 가진 비정상적 베르누이 및 포아송 과정에 대해 실시간 가설 검정과 추정을 가능하게 하며, 확률 벡터, 로그-확률 대비, 강도 비율에 대한 신뢰구간 시퀀스를 구성함으로써 전환율 테스트 및 소프트웨어 캐니의 모니터링 등에 적용 가능함을 입증하였다.

ABSTRACT

Many experiments are concerned with the comparison of counts between treatment groups. Examples include the number of successful signups in conversion rate experiments, or the number of errors produced by software versions in canary experiments. Observations typically arrive in data streams and practitioners wish to continuously monitor their experiments, sequentially testing hypotheses while maintaining Type I error probabilities under optional stopping and continuation. These goals are frequently complicated in practice by non-stationary time dynamics. We provide practical solutions through sequential tests of multinomial hypotheses, hypotheses about many inhomogeneous Bernoulli processes and hypotheses about many time-inhomogeneous Poisson counting processes. For estimation, we further provide confidence sequences for multinomial probability vectors, all contrasts among probabilities of inhomogeneous Bernoulli processes and all contrasts among intensities of time-inhomogeneous Poisson counting processes. Together, these provide an "anytime-valid" inference framework for a wide variety of experiments dealing with count outcomes, which we illustrate with a number of industry applications.

연구 동기 및 목표

• 비정상적이고 시간에 따라 변하는 조건에서의 온라인 실험에서의 유효한 통계적 추론을 유지하는 데 도전하는 문제를 해결한다.
• 고정된 표본 크기 검정의 한계를 극복하여, 제1종 오류 비율이 증가하지 않도록 연속적 모니터링과 데이터 기반 정지가 가능한 방법을 제공한다.
• A/B 테스트 및 시스템 모니터링에서 흔히 나타나는 다항, 비정상적 베르누이 및 시간에 따라 변하는 포아송 과정을 위한 실용적인 순차적 추론 도구를 제공한다.
• 유연한 실시간 가설 검정을 지원하기 위해 확률 벡터와 로그-확률, 로그-강도에 대한 대비에 대한 보편적인 보장구간 시퀀스를 개발한다.
• 실제 응용 사례인 표본 비율 불일치 탐지, 전환율 최적화, 소프트웨어 캐니 테스트 등에서 프레임워크의 유용성을 입증한다.

제안 방법

• 모든 정지 시점에서 유효한 커버리지 보장을 보장하기 위해 혼합 마팅게일 방법을 사용하여 다항확률 벡터에 대한 신뢰구간 시퀀스를 구성한다.
• 실패 관측치가 필요 없이 관측된 성공 횟수만으로도 여러 비정상적 베르누이 과정의 동등성에 대한 순차적 검정을 유도한다.
• 시간에 따라 변하는 포아송 과정으로 프레임워크를 확장하기 위해 강도 비율과 로그-강도 대비에 대한 신뢰구간 시퀀스를 구성한다.
• 다중 대조군 간의 모든 쌍 및 일반 대비에 대해 동시에 보장구간 시퀀스를 구성하기 위해 다항분포 보장구간 시퀀스를 기반으로 한다.
• 가능한 정지 및 계속 조건 하에서도 유효한 순차적 p-값을 가능하게 하기 위해 우도 비율 통계량을 활용한다.
• 효율적인 실시간 구현을 위해 볼록 최적화를 사용하여 보장구간 시퀀스를 계산한다.

실험 결과

연구 질문

• RQ1 관측치가 순차적으로 도착하고 성공 확률이 시간에 따라 변할 때, 온라인 실험에서 다항도수 자료에 대해 유효한 통계적 추론를 유지할 수 있는 방법은 무엇인가?
• RQ2 옵셔널 스탑잉과 연속 모니터링 하에서도 유효한 유지가 가능한 다항모수 및 로그-확률 대비에 대해 보장구간 시퀀스를 구성할 수 있는가?
• RQ3 실패 사건이 관측되지 않는 조건에서, 비정상적 베르누이 과정에 대한 순차적 검정이 실제로 얼마나 적용 가능한가?
• RQ4 시간에 따라 변하는 포아송 과정의 강도 비율에 대한 보장구간 시퀀스는 실시간 시스템 모니터링에서 이상치를 탐지하는 데 어떻게 활용될 수 있는가?
• RQ5 제안된 프레임워크는 데이터의 정상성에 대한 최소한의 가정으로 전환율 최적화 및 소프트웨어 캐니 테스트와 같은 실제 온라인 실험 시나리오에 적용 가능한가?

주요 결과

• 다항확률 벡터에 대한 보장구간 시퀀스는 모든 정지 시점에서 유효한 커버리지 보장을 유지하여 제1종 오류 비율 증가 없이 언제라도 유효한 추론이 가능하다.
• 비정상적 베르누이 과정에 대한 순차적 검정은 성공 확률이 시간에 따라 변하더라도 전환율의 차이를 탐지할 수 있으며, 실패 관측치가 필요하지 않다.
• 소프트웨어 캐니 테스트에서 강도 비율 $\lambda_1(t)/\lambda_0(t)$에 대한 보장구간 시퀀스는 1초 이내로 1.0 이하로 떨어져 심각한 버그를 빠르게 탐지할 수 있었다.
• 공동 보장구간 시퀀스 구성 덕분에 다중 검정 보정 없이도 모든 대조군 간의 동시 추론이 가능하다.
• 옵셔널 스탑잉과 계속 조건 하에서도 유효한 순차적 p-값은 자동화된 인간 불필요한 실험 종료를 통계적 보장과 함께 가능하게 한다.
• 고정된 표본 크기 접근법 대비 실험 기간과 자원 소모를 크게 줄일 수 있어 실험과 혁신의 속도가 증가한다.