[논문 리뷰] On the Complexity of A/B Testing

Emilie Kaufmann, Olivier Cappé외 1명|arXiv (Cornell University)|2014. 05. 13.

Advanced Bandit Algorithms Research참고 문헌 12인용 수 12

한 줄 요약

이 논문은 이단계 밴딧 모델에서 A/B 테스트에 대한 분포에 의존하는 하한을 설정하며, 고정 신뢰도 및 고정 예산 설정에서 복잡도가 동일한 것으로 나타났다. 이는 정규 분포 결과와 동일한 분산 조건에서 균일 샘플링이 최적임을 보여준다. 베르누이 결과의 경우 고정 예산의 복잡도는 고정 신뢰도보다 낮으며, 적절한 정지 기준을 사용할 경우 균일 샘플링은 여전히 실용적이다.

ABSTRACT

A/B testing refers to the task of determining the best option among two alternatives that yield random outcomes. We provide distribution-dependent lower bounds for the performance of A/B testing that improve over the results currently available both in the fixed-confidence (or delta-PAC) and fixed-budget settings. When the distribution of the outcomes are Gaussian, we prove that the complexity of the fixed-confidence and fixed-budget settings are equivalent, and that uniform sampling of both alternatives is optimal only in the case of equal variances. In the common variance case, we also provide a stopping rule that terminates faster than existing fixed-confidence algorithms. In the case of Bernoulli distributions, we show that the complexity of fixed-budget setting is smaller than that of fixed-confidence setting and that uniform sampling of both alternatives -though not optimal- is advisable in practice when combined with an appropriate stopping criterion.

연구 동기 및 목표

• 고정 신뢰도 및 고정 예산 설정 하에서 A/B 테스트의 최상의 암호 식별에 대해 날카롭고 분포에 의존하는 하한을 유도하기 위해.
• 특히 정규 분포 및 베르누이 분포 결과 분포에 대해 고정 신뢰도와 고정 예산 A/B 테스트의 본질적 복잡도를 비교하기 위해.
• 균일 샘플링(라운드로빈)이 A/B 테스트에서 최적이거나 근사 최적이 되는 조건을 평가하고, 언제 충분한지, 언제 적응형 샘플링이 필요한지 판단하기 위해.
• 등급이 동일한 정규 분포 조건에서 기존 고정 신뢰도 알고리즘보다 향상된 성능을 보이는 정지 기준을 제안하기 위해.
• 순차적 테스트에서 적응형 샘플링이 고정 샘플링 전략보다 유리한 경우에 실용적인 지침을 제공하기 위해.

제안 방법

• KL 발산과 우도 비율 분석을 사용하여 정보 이론적 하한을 도출함으로써 최소 샘플 복잡도를 특성화함.
• 독립 동일분포의 하중부하가 있는 서브-가우시안 랜덤 변수의 합에 대한 편차 부등식(보조정리 6.2)을 사용하여 순차적 테스트의 신뢰 구간을 유도함.
• 반복 로그 법칙과 농도 불등식을 적용하여 유한 표본 성능이 향상된 정지 기준을 수립함.
• 고정 신뢰도 및 고정 예산 설정을 $\kappa_C(\nu)$ 및 $\kappa_B(\nu)$ 복잡도 측정을 통해 비교하며, 동일한 분산 조건 하의 정규 모델에서 동등성을 보임.
• 측도 전환 방법을 사용하여 오차 확률과 샘플 복잡도에 대한 하한을 도출하며, 대체 모델 $\nu'$에 대해 최적화함.
• 최적화된 탐색 비율을 사용하는 순차적 정지 기준을 제안함: $\beta(t,\delta) = \log(1/\delta) + \frac{3}{4}\log\log(1/\delta) + \frac{3}{2}\log\log(et)$, 이는 $\delta$-PAC 성능을 보장함을 증명함.

실험 결과

연구 질문

• RQ1 고정 신뢰도 및 고정 예산 설정 하에서 A/B 테스트의 최상의 암호 식별에 대한 기본 샘플 복잡도는 무엇인가?
• RQ2 정규 분포 및 베르누이 분포와 같은 다양한 확률 분포에서 $\kappa_C(\nu)$ 및 $\kappa_B(\nu)$ 복잡도는 어떻게 비교되는가?
• RQ3 균일 샘플링(라운드로빈)이 A/B 테스트에서 최적이거나 근사 최적이 되는 조건은 무엇인가?
• RQ4 문제의 복잡도를 사전에 알지 못할 경우, 순차적 정지 기준이 기대 샘플 크기를 줄일 수 있는가?
• RQ5 최소 기대 샘플 크기를 확보하기 위해 $\delta$-PAC 성능을 보장하는 순차적 A/B 테스트에서 최적의 탐색 비율은 무엇인가?

주요 결과

• 등분산 정규 분포 조건에서 고정 신뢰도 및 고정 예산 설정의 복잡도는 동일하며, 균일 샘플링이 최적임을 보였다.
• 등분산 정규 분포 조건에서 제안된 정지 기준은 최적화된 탐색 비율을 사용함으로써 기존 고정 신뢰도 알고리즘보다 더 빠른 종료를 달성함.
• 베르누이 결과의 경우 고정 예산 복잡도 $\kappa_B(\nu)$는 고정 신뢰도 복잡도 $\kappa_C(\nu)$보다 엄격히 작으며, 이는 고정 예산 전략이 본질적으로 더 효율적임을 시사함.
• 균일 샘플링은 여전히 적절한 정지 기준과 함께 사용될 경우 베르누이 결과에서 실용적으로 권장될 수 있으며, 최적이 아니더라도.
• 유도된 하한은 날카롭고 제안된 알고리즘의 성능와 일치하여 이러한 설정에서 A/B 테스트의 이론적 한계를 확인함.
• 분석 결과, 문제의 복잡도가 알려져 있을 경우 순차적 테스트에서 적응형 샘플링이 기대 샘플 크기를 감소시키지 못하지만, 복잡도가 알려져 있지 않을 경우 유용함을 보여줌.