[논문 리뷰] A framework for Multi-A(rmed)/B(andit) testing with online FDR control

Fanny Yang, Aaditya Ramdas외 2명|arXiv (Cornell University)|2017. 06. 16.

VLSI and Analog Circuit Testing인용 수 12

한 줄 요약

이 논문은 다수의 보상이 있는 밴딧(MAB) 테스트와 온라인 가짜 발현률(FDR) 제어를 통합하는 새로운 프레임워크를 제안하여, 엄밀한 오류 제어를 보장하는 효율적이고 지속적으로 모니터링되는 A/B 테스트를 가능하게 한다. 항상 유효한 순차적 p-값과 적응형 샘플링을 사용함으로써, 이 방법은 낮은 표본 복잡도, 높은 검정력, 언제든지 FDR 제어를 달성하여 순차적 실험 전반에 걸쳐 잘못된 양성 결과를 최소화하면서 신뢰할 수 있는 보다 좋은 대안의 발견을 보장한다.

ABSTRACT

We propose an alternative framework to existing setups for controlling false alarms when multiple A/B tests are run over time. This setup arises in many practical applications, e.g. when pharmaceutical companies test new treatment options against control pills for different diseases, or when internet companies test their default webpages versus various alternatives over time. Our framework proposes to replace a sequence of A/B tests by a sequence of best-arm MAB instances, which can be continuously monitored by the data scientist. When interleaving the MAB tests with an an online false discovery rate (FDR) algorithm, we can obtain the best of both worlds: low sample complexity and any time online FDR control. Our main contributions are: (i) to propose reasonable definitions of a null hypothesis for MAB instances; (ii) to demonstrate how one can derive an always-valid sequential p-value that allows continuous monitoring of each MAB test; and (iii) to show that using rejection thresholds of online-FDR algorithms as the confidence levels for the MAB algorithms results in both sample-optimality, high power and low FDR at any point in time. We run extensive simulations to verify our claims, and also report results on real data collected from the New Yorker Cartoon Caption contest.

연구 동기 및 목표

• 기존 A/B 테스트의 한계, 즉 균일한 트래픽 할당, 지속적 모니터링의 안전성 부족, 순차적 실험에서의 가짜 발현률 제어 부족 문제를 해결하기 위해.
• 적응형 샘플링을 통한 MAB와 온라인 FDR 제어를 융합한 통합 프레임워크를 개발하기 위해.
• 지속적인 실험 중 어떤 시점에서도 높은 통계적 검정력과 낮은 가짜 발현률을 확보하기 위해.
• 유의미한 유형 I 오류 비율 증가 없이 지속적 모니터링을 가능하게 하는 이론적으로 탄탄한 방법을 제공하기 위해.
• 인터넷 A/B 테스트, 임상 시험, 정책 평가와 같이 효율적이고 신뢰할 수 있는 발견이 중요한 분야에서의 실용적 구현을 가능하게 하기 위해.

제안 방법

• MAB 인스턴스를 순차적으로 처리하고, 이를 통해 도출된 발견에 대해 온라인 FDR 제어를 적용하는 메타알고리즘을 제안한다.
• MAB 인스턴스에 대한 귀무가설의 새로운 정의를 도입하여 순차적 환경에서의 유효한 통계적 추론을 가능하게 한다.
• 각 MAB 테스트에 대해 항상 유효한 순차적 p-값을 유도하여, 유형 I 오류 비율 증가 없이 지속적 모니터링이 가능하도록 한다.
• 온라인 FDR 알고리즘의 기각 임계값을 MAB 정지 기준의 신뢰수준으로 사용함으로써, 표본 효율성과 FDR 제어를 동시에 확보한다.
• LUCB 스타일의 신뢰구간과 LIL 기반의 경계를 활용하여, 어떤 정지 시점에서도 유효한 p-값을 구성한다.
• Benjamini-Yekutieli 절차를 적용하여 온라인 FDR 제어를 수행하며, 시간에 따라 변하는 유의수준에 맞게 순차적 MAB 환경에 적응시킨다.

실험 결과

연구 질문

• RQ1 MAB의 표본 효율성과 온라인 FDR의 오류 제어를 융합한 프레임워크를 설계할 수 있는가?
• RQ2 어떤 정지 시점에서든 유효한 p-값을 MAB에 대해 구성할 수 있는가? 이를 통해 양심 없는 지속적 모니터링가능한가?
• RQ3 온라인 FDR 임계값을 MAB의 신뢰수준으로 사용할 경우, 낮은 FDR과 높은 검정력을 동시에 확보할 수 있는 조건은 무엇인가?
• RQ4 제안된 방법이 순차적 실험에서 근사 최적의 표본 복잡도를 달성하면서도 FDR 제어를 유지할 수 있는가?
• RQ5 실제 데이터에서 복잡하고 i.i.d.가 아닌 데이터(예: 온라인 플랫폼의 사용자 행동)를 다룰 때 이 프레임워크는 어떻게 성능을 발휘하는가?

주요 결과

• LIL 기반의 신뢰구간에서 유도된 항상 유효한 p-값을 사용함으로써, 지속적 모니터링 조건 하에서도 언제든지 온라인 FDR 제어를 달성한다.
• 정리 1에서 증명한 바와 같이, 이 방법은 모든 순차적 실험에서 목표 수준 α 이내로 FDR가 제한됨을 보장한다.
• 온라인 FDR 임계값을 MAB 정지 기준의 신뢰수준으로 사용함으로써, 낮은 표본 복잡도와 함께 고도의 검정력을 유지한다.
• 합성 데이터에 대한 시뮬레이션 결과, 이 방법은 명목 수준에서 FDR를 제어하면서도 균일한 샘플링보다 더 빠르게 더 나은 암을 식별함을 확인하였다.
• 뉴요커 카툰 캡션 경진대회에서의 실제 데이터 실험 결과, 이 프레임워크는 낮은 가짜 발현률로 높은 성능을 보이는 캡션을 성공적으로 식별하였다.
• 이론적 분석 결과, 미약한 조건 하에서도 이 방법은 근사 최적의 표본 복잡도와 근사 최적의 발견률을 달성하며, 귀무가설 및 비귀무가설 상황에서 모두 FDR 제어가 보장됨을 보였다.