[논문 리뷰] Always Valid Inference: Bringing Sequential Analysis to A/B Testing

Ramesh Johari, Leo Pekelis외 1명|arXiv (Cornell University)|2015. 12. 15.

Statistical Methods in Clinical Trials참고 문헌 37인용 수 50

한 줄 요약

이 논문은 어떤 데이터 기반 정지 규칙을 적용하더라도 유의수준 오류를 제어하는 항상 유효한 p값과 신뢰구간을 제안한다. 이는 연속적 모니터링 중에 거짓 양성 결과가 증가하지 않도록 하여 A/B 테스트에서 지속적인 감시를 가능하게 한다. 이 방법은 순차적 확률 비율 검정(mSPRT) 프레임워크를 사용하여 실험 중 어떤 시점에서든 유효한 추론을 제공하며, 사용자 선호도를 알지 못하더라도 효율적으로 검정력과 표본 크기 사이의 균형을 유지한다.

ABSTRACT

A/B tests are typically analyzed via frequentist p-values and confidence intervals; but these inferences are wholly unreliable if users endogenously choose samples sizes by *continuously monitoring* their tests. We define *always valid* p-values and confidence intervals that let users try to take advantage of data as fast as it becomes available, providing valid statistical inference whenever they make their decision. Always valid inference can be interpreted as a natural interface for a sequential hypothesis test, which empowers users to implement a modified test tailored to them. In particular, we show in an appropriate sense that the measures we develop tradeoff sample size and power efficiently, despite a lack of prior knowledge of the user's relative preference between these two goals. We also use always valid p-values to obtain multiple hypothesis testing control in the sequential context. Our methodology has been implemented in a large scale commercial A/B testing platform to analyze hundreds of thousands of experiments to date.

연구 동기 및 목표

• 지속적인 모니터링으로 인해 데이터 기반 정지 시점으로 인해 표준 A/B 테스트에서 발생하는 심각한 결함을 해결하기 위해.
• 사용자가 언제 정지할지에 관계없이 유효한 추론을 제공하는 통계 프레임워크를 개발하여, 사용자의 속도 또는 검정력 선호도를 사전에 알 필요 없이도 가능하게 하기 위해.
• 순차 분석 하에서도 통계적으로 유효한 상태를 유지하는 간단하고 직관적인 인터페이스—p값과 신뢰구간—을 제공하기 위해.
• 순차적 모니터링 하에서 다중 가설 검정의 가족적 오류율(FWER)과 위양성 오류율(FDR)을 제어할 수 있도록 프레임워크를 확장하기 위해.
• 대규모 상용 A/B 테스트 플랫폼에서 이 방법을 구현하고 검증하여 강건성과 실용적 유용성을 입증하기 위해.

제안 방법

• 모든 정지 시점에서 유효한 p값과 신뢰구간을 생성하기 위해 수정된 순차적 확률 비율 검정(mSPRT)을 사용한다.
• 모든 정지 시점에서 근본가설 하에서 균일 분포를 이루는 p값을 정의하기 위해 우도 비율 기반 접근법을 적용한다.
• 순차적 검정을 고려하여 데이터 기반 정지 시점에서 커버리지 확률을 유지하는 방법으로, 보정된 방법을 통해 신뢰구간을 유도한다.
• 순차적 환경에서 벤자미니-하우크버그(Benjamini-Hochberg, BH) 절차를 적용하여, 순서화된 p값 기반으로 정지 시점을 정의함으로써 FDR을 제어한다.
• 다중 검정을 고려한 순차적 환경에서 FCR(위양성 커버리지 비율) 제어를 보장하기 위해 보정된 신뢰구간을 도입한다.
• 실제로 계절적 또는 시간에 따라 변하는 상관관계를 탐지하고 수정하기 위해 '리셋 정책' 히우리스틱을 구현한다.

실험 결과

연구 질문

• RQ1 사용자가 관측된 데이터에 기반해 지속적으로 모니터링하고 실험을 중단할 경우, p값과 신뢰구간이 여전히 추론에 유효하게 유지될 수 있는가?
• RQ2 순차적 A/B 테스트에서 임의의 정지 규칙 하에서도 유의수준 오류를 어떻게 제어할 수 있는가?
• RQ3 사용자 선호도를 사전에 알지 못하더라도 표본 크기와 검정력 사이의 효율적 균형을 어떻게 달성할 수 있는가?
• RQ4 순차적 A/B 테스트 환경에서 다중 가설 검정 오류율(FWER 및 FDR)을 어떻게 제어할 수 있는가?
• RQ5 실세계 A/B 테스트 환경에서 시간에 따라 변하는 데이터 상관관계를 탐지하고 수정하기 위한 실용적 메커니즘은 무엇인가?

주요 결과

• 제안된 항상 유효한 p값은 어떤 데이터 기반 정지 규칙을 적용하더라도 Type I 오류를 제어하며, 사용자가 연속적으로 모니터링하더라도 유효하다.
• 이 방법은 사용자 선호도를 사전에 알지 못하더라도 표본 크기와 검정력 사이의 효율적 트레이드오프를 가능하게 하여, 다양한 사용자 선호도에 대해 거의 최적의 성능을 달성한다.
• 시뮬레이션 결과, 표준 p값은 연속적 모니터링 하에서 Type I 오류가 최대 5배까지 증가할 수 있는 반면, 제안된 방법은 이 문제를 피한다.
• mSPRT 기반 p값과 수정된 벤자미니-하우크버그 절차를 조합하여, 순차적 다중 검정에서 FDR을 성공적으로 제어한다.
• 보정된 신뢰구간은 α(1 + j/m) 수준에서 FCR 제어를 보장하여, 순차적 선택 규칙 하에서도 유효한 커버리지를 제공한다.
• 이 메서드는 대규모 상용 A/B 테스트 플랫폼에 구현되어 수십만 개의 실험을 분석하며 일관된 신뢰성을 보였다.