[논문 리뷰] Flexible Online Repeated Measures Experiment

Guo Yu, Alex Deng|arXiv (Cornell University)|2015. 01. 02.

Advanced Causal Inference Techniques참고 문헌 11인용 수 4

한 줄 요약

이 논문은 반복 측정 설계(특히 교차 설계 및 재무작성 설계)를 사용하여 A/B 테스트의 민감도를 향상시키는 확장성 있는 프레임워크인 FORME(Flexible Online Repeated Measures Experiment)를 소개한다. 사용자가 시간이 지남에 따라 치료군과 대조군 조건을 모두 경험함으로써, 내부 사용자 비교를 통해 핵심 성과 지표(KPI) 측정의 분산을 감소시켜 동일한 트래픽과 실험 기간 동안 더 높은 통계적 검증력을 달성한다. 이는 전통적인 A/B 테스트와 경쟁하는 혼합 효과 모델보다도 누락 데이터에 대한 강건성을 높인다.

ABSTRACT

Online controlled experiments, now commonly known as A/B testing, are crucial to causal inference and data driven decision making in many internet based businesses. While a simple comparison between a treatment (the feature under test) and a control (often the current standard), provides a starting point to identify the cause of change in Key Performance Indicator (KPI), it is often insufficient, as the change we wish to detect may be small, and inherent variation contained in data may obscure movements in KPI. To have sufficient power to detect statistically significant changes in KPI, an experiment needs to engage a sufficiently large proportion of traffic to the site, and also last for a sufficiently long duration. This limits the number of candidate variations to be evaluated, and the speed new feature iterations. We introduce more sophisticated experimental designs, specifically the repeated measures design, including the crossover design and related variants, to increase KPI sensitivity with the same traffic size and duration of experiment. In this paper we present FORME (Flexible Online Repeated Measures Experiment), a flexible and scalable framework for these designs. We evaluate the theoretic basis, design considerations, practical guidelines and big data implementation. We compare FORME to an existing methodology called mixed effect model and demonstrate why FORME is more flexible and scalable. We present empirical results based on both simulation and real data. Our method is widely applicable to online experimentation to improve sensitivity in detecting movements in KPI, and increase experimentation capability.

연구 동기 및 목표

• 높은 사용자 수준의 분산과 작은 치료 효과로 인해 발생하는 온라인 A/B 테스트의 낮은 통계적 검증력 문제를 해결하기 위해.
• 트래픽이나 실험 기간을 늘리지 않고도 작은 KPI 변화를 감지하는 민감도를 향상시키기 위해.
• 온라인 실험에 반복 측정 설계를 구현하기 위한 유연하고 확장 가능한 프레임워크를 개발하기 위해.
• 데이터가 무작위로 누락되지 않을 경우 기존 혼합 효과 모델의 한계를 극복하기 위해.
• 동일한 검증력이 필요한 경우에 필요한 표본 크기를 줄여 더 빠르고 효율적인 실험 사이클을 가능하게 하기 위해.

제안 방법

• FORME는 사용자가 순차적인 시간 주기 동안 치료군과 대조군 조건을 모두 경험하는 반복 측정 설계(교차 설계 및 재무작성 설계 포함)를 사용한다.
• 개별 사용자의 기저 수준을 고려함으로써 내부 사용자 비교를 통해 분산을 감소시켜, 각 사용자를 자신의 대조군으로 효과적으로 활용한다.
• 사용자에서 페이지 뷰에 이르기까지 다양한 무작위화 단위를 지원하여, 더 세밀한 치료 교체를 통해 분산을 추가로 감소시킬 수 있다.
• 치료 효과의 영향과 시간 경향성을 테스트하면서 치료 효과를 추정하는 통계 모델을 구현하여, 부분 주기나 비정규적인 실험 기간 동안에도 유효성을 확보한다.
• FORME는 이중 단계 접근법을 사용한다: 먼저 시간에 따른 치료 효과의 동등성과 유사 효과 존재 여부를 테스트하고, 효과가 유의미하지 않으면 모델을 단순화한다.
• 누락된 데이터가 사용자 수준의 랜덤 효과와 관련이 있을 경우에도 강건한 추정을 제공하여, 이러한 상황에서 혼합 효과 모델보다 우수한 성능을 보인다.

실험 결과

연구 질문

• RQ1 교차 설계와 같은 반복 측정 설계는 트래픽이나 기간을 늘리지 않고도 온라인 A/B 테스트의 통계적 검증력을 향상시킬 수 있는가?
• RQ2 비무작위로 누락된 데이터 조건 하에서 FORME의 접근법은 혼합 효과 모델 대비 편향과 분산 측면에서 어떻게 비교되는가?
• RQ3 특히 시간 조절과 사용자 경험을 고려할 때, 온라인 실험에 반복 측정 설계를 구현하는 데 실질적인 설계 고려사항은 무엇인가?
• RQ4 반복 측정 설계에서 치료 교체 빈도를 높임으로써 분산 감소를 얼마나 달성할 수 있는가?
• RQ5 실험이 중단되거나 부분 주기 동안 진행될 경우 실험 결과를 어떻게 신뢰성 있게 보고할 수 있는가?

주요 결과

• FORME는 내부 사용자 비교를 통해 KPI 측정의 분산을 감소시켜 동일한 트래픽과 기간 동안 더 작은 치료 효과도 감지할 수 있도록 하여 더 높은 통계적 검증력을 달성한다.
• 기존의 t-검정 대비 역사적 분산 감소율을 기반으로, FORME는 필요한 표본 크기를 최대 k% 감소시킬 수 있다 (k는 분산 감소 요인).
• 이전 CUPED 결과를 기준으로 한 비교에서 FORME의 교차 설계는 표준 A/B 테스트 대비 40-50% 낮은 분산을 기록하여 치료 효과를 감지할 수 있다.
• 데이터가 무작위로 누락되지 않을 경우 FORME는 혼합 효과 모델보다 편향 측면에서 뛰어나, 실제 온라인 실험에 더 신뢰할 수 있다.
• 재무작성 및 다기능 설계는 시간 경향성과 유사 효과를 감지할 수 있게 하여 모델 유효성을 향상시키고 전체 실험 기간 동안 치료 효과를 보고할 수 있게 한다.
• 부분 주기 실험에서도 데이터 손실 없이 지원하여 실용성을 높이고 실험 낭비를 줄인다.