[논문 리뷰] Percent Change Estimation in Large Scale Online Experiments

Jacopo Soriano|arXiv (Cornell University)|2017. 11. 01.

Statistical Methods in Clinical Trials참고 문헌 12인용 수 34

한 줄 요약

이 논문은 대규모 A/B 실험에서 백분율 변화 추정을 향상시키기 위해 사전 기간 데이터를 공변량으로 활용하는 이단계 목표 베이지안 모델을 제안한다. 사전 처리 지표를 통합함으로써 기존 방법보다 최대 50% 더 좁은 신뢰구간과 더 정밀한 점 추정치를 도출하며, 웹 제품 지표의 소규모이지만 영향력 있는 변화에 대한 민감도를 향상시킨다.

ABSTRACT

Online experiments are a fundamental component of the development of web-facing products. Given their large user-bases, even small product improvements can have a large impact on user engagement or profits on an absolute scale. As a result, accurately estimating the relative impact of these changes is extremely important. I propose an approach based on an objective Bayesian model to improve the sensitivity of percent change estimation in A/B experiments. Leveraging pre-period information, this approach produces more robust and accurate point estimates and up to 50% tighter credible intervals than traditional methods. The R package abpackage provides an implementation of the approach.

연구 동기 및 목표

• 기존 방법이 통계적 검정력이 부족한 대규모 온라인 실험에서 소규모이지만 영향력 있는 상대적 변화를 탐지하는 데 어려움을 해결하기 위해.
• 분석 과정에서 사전 기간 데이터를 공변량으로 활용하여 백분율 변화 추정의 정밀도와 강건성을 향상시키기 위해.
• 비주관적 사전 분포를 사용함으로써 자연스러운 불확실성 전파와 비선형 함수(예: 백분율 변화)에 대한 추론을 가능하게 하면서도 양호한 빈도주의 성질을 유지하는 방법을 개발하기 위해.
• 주관적인 사전 분포 추정이 필요 없고 계층적 또는 이질적 치료 효과 모델로의 확장이 가능한 일반화 가능한 목표 베이지안 프레임워크를 제공하기 위해.

제안 방법

• 사전 기간 지표를 공변량으로 사용하여 치료군 및 대조군의 사후 기간 평균을 조정하는 이단계 목표 베이지안 모델을 적용한다.
• 비정보적(목표적) 사전 분포를 사용하여 주관적인 사전 분포 설정 없이도 양호한 빈도주의 성질을 확보한다.
• 백분율 변화, 즉 (μ_treatment - μ_control) / μ_control에 대한 사후 추론을 단계 간 자연스럽게 불확실성 전파를 통해 수행한다.
• 사전 기간 변동성을 고려함으로써 분산 감소를 달성하고, 더 좁은 신뢰구간을 도출한다.
• 후행 추론을 빠르게 하기 위한 효율적인 알고리즘을 도입하여 대규모 온라인 실험에 대한 확장성을 확보한다.
• 이 방법은 오픈소스 R 패키지 abpackage를 통해 구현되어 있으며, https://google.github.io/abpackage 에서 이용 가능하다.

실험 결과

연구 질문

• RQ1 사전 기간 데이터는 A/B 실험에서 백분율 변화 추정의 정밀도 향상에 효과적으로 활용될 수 있는가?
• RQ2 기존의 피엘러, 테일러, 인덱스 기반 접근법과 비교할 때 제안된 베이지안 방법은 구간 폭과 편향 측면에서 어떻게 다를까?
• RQ3 사전 기간 공변량을 통합함으로써 신뢰구간 폭이 얼마나 줄어들며, 이로 인해 유의미한 편향이 발생하는가?
• RQ4 비주관적 사전 분포를 사용함에도 불구하고 백분율 변화와 같은 척도 무관 효과 크기의 추론을 유지할 수 있는가?
• RQ5 더 좁은 신뢰구간은 실험 설계에 실질적인 영향을 미치는가, 예를 들어 실험 기간 단축 또는 더 적은 트래픽 노출로 이어지는가?

주요 결과

• 제안된 사전-사후 베이지안 방법은 사전 기간 데이터를 忽시하는 전통적 방법 대비 최대 50% 더 좁은 신뢰구간 폭을 기록한다.
• 이 방법은 다양한 치료 효과 수준과 데이터 생성 모델에서 편향이 거의 없는 상당히 정밀한 점 추정치를 도출한다.
• 베르누이 및 지수 분포 데이터 생성 과정 모두에서 사전-사후 방법의 편향은 그 자체의 신뢰구간 폭에 비해 무시할 만큼 작다.
• 비주관적 사전 분포를 사용함에도 불구하고 양호한 빈도주의 커버리지 성질을 유지하여 신뢰할 수 있는 추론을 보장한다.
• 소규모 효과에 대한 민감도가 향상됨에 따라 더 짧은 실험 주기나 더 적은 트래픽 할당으로도 통계적 검정력을 유지할 수 있다.
• 오픈소스 abpackage R 패키지는 생산 환경에서의 온라인 실험에 적합한 확장성 있고 접근 가능한 방법의 구현을 제공한다.