[논문 리뷰] A/B/n Testing with Control in the Presence of Subpopulations

Yoan Russac, Christina Katsimerou외 4명|arXiv (Cornell University)|2021. 10. 29.

Statistical Methods in Clinical Trials인용 수 4

한 줄 요약

이 논문은 하위집단이 존재하는 상황에서 제어군보다 우수한 모든 손잡이를 식별하기 위한 점진적으로 최적의 순차적 A/B/n 테스트 전략을 제안한다. 하위집단 정보를 기반으로 적응형 샘플링을 사용하며, 불확실성에 따라 샘플을 동적으로 할당함으로써 최적의 샘플 복잡도를 달성한다. 이론적으로 정지 시간과 오류 비율에 대한 보장을 제공하며, 세 가지 상호작용 모드인 활성, 수동, 무관심 샘플링에서 효과적이다.

ABSTRACT

Motivated by A/B/n testing applications, we consider a finite set of distributions (called \emph{arms}), one of which is treated as a \emph{control}. We assume that the population is stratified into homogeneous subpopulations. At every time step, a subpopulation is sampled and an arm is chosen: the resulting observation is an independent draw from the arm conditioned on the subpopulation. The quality of each arm is assessed through a weighted combination of its subpopulation means. We propose a strategy for sequentially choosing one arm per time step so as to discover as fast as possible which arms, if any, have higher weighted expectation than the control. This strategy is shown to be asymptotically optimal in the following sense: if $τ_δ$ is the first time when the strategy ensures that it is able to output the correct answer with probability at least $1-δ$, then $\mathbb{E}[τ_δ]$ grows linearly with $\log(1/δ)$ at the exact optimal rate. This rate is identified in the paper in three different settings: (1) when the experimenter does not observe the subpopulation information, (2) when the subpopulation of each sample is observed but not chosen, and (3) when the experimenter can select the subpopulation from which each response is sampled. We illustrate the efficiency of the proposed strategy with numerical simulations on synthetic and real data collected from an A/B/n experiment.

연구 동기 및 목표

• 하위집단이 존재하는 상황에서 제어군보다 우수한 모든 손잡이를 효율적으로 식별할 수 있는 순차적 테스트 정책을 개발하는 것.
• A/B/n 테스트에서 균일 샘플링의 비효율성을 해결하기 위해 하위집단 구조에 기반한 샘플 할당을 적응형으로 조정하는 것.
• 하위집단 관찰 가능성 및 통제 수준의 변화에 따라 샘플 복잡도와 오류 확률에 대한 이론적 보장을 제공하는 것.
• 위험 평가를 보정하여 언제라도 결정을 내릴 수 있도록 하며, 실용적 구현에서의 조기 정지를 지원하는 것.
• 세 가지 상호작용 모드인 활성, 비례, 무관심, 무관심에 따른 의사결정 속도와 정확도에 미치는 영향을 평가하는 것.

제안 방법

• ABC-S(하위집단 내에서 제어군보다 우수한 손잡이)를 위한 Track-and-Stop 프레임워크를 순차적 샘플링 및 정지 규칙에 맞게 적응시킨다.
• 하위집단 평균을 빈도와 중요도에 따라 가중 평균화하는 기준을 도입한다.
• 신뢰구간 기반 샘플링 규칙을 사용하여 제어군 대비 불확실성이 가장 높은 손잡이를 우선으로 샘플링함으로써 기대 샘플 복잡도를 최소화한다.
• 순차적으로 업데이트되는 위험 평가 메커니즘을 설계하여 잘못된 추천 확률이 보고된 위험 수준 이내로 제한되도록 보장한다.
• 세 가지 상호작용 모드를 고려한다: (1) 활성(학습자가 하위집단을 선택함), (2) 수동(하위집단은 관찰되지만 선택되지 않음), (3) 무관심(하위집단에 접근 불가).
• 모든 세 모드에서 기대 정지 시간 E[τδ]가 최적 비율로 log(1/δ)에 선형적으로 증가함을 보여 이론적으로 점진적 최적성을 도출한다.

실험 결과

연구 질문

• RQ1 하위집단이 존재할 때, 제어군보다 모든 손잡이를 식별하는 데 있어 순차적 샘플링 전략이 점진적으로 최적성을 달성할 수 있는가?
• RQ2 하위집단을 선택하거나 관찰할 수 있는 능력이 우수한 손잡이를 식별하는 데 필요한 샘플 복잡도에 어떤 영향을 미치는가?
• RQ3 실험 전반에 걸쳐 위험 평가를 유지하여 보장된 오류 제어와 함께 언제라도 정지를 가능하게 할 수 있는가?
• RQ4 다양한 하위집단 상호작용 모드에서 고정 신뢰도 설정 하에서 이론적 샘플 복잡도 비율은 무엇인가?
• RQ5 실제 및 합성 A/B/n 실험에서 하위집단이 존재할 경우, 적응형 샘플링 정책은 균일 샘플링보다 어떻게 비교되는가?

주요 결과

• 제안된 전략은 점진적으로 최적성을 달성하며, 모든 세 상호작용 모드에서 E[τδ]가 최적 비율인 log(1/δ)로 증가한다.
• 학습자가 하위집단을 선택하는 활성 샘플링은 수동 또는 무관심 모드에 비해 의사결정 시간을 크게 단축시킨다.
• 계절 하위집단이 존재하는 실제 데이터셋에서, 적응형 샘플링은 균일 샘플링 대비 샘플 복잡도를 감소시켰으며, 활성 모드에서 가장 빨리 종료되었다.
• 위험 평가 메커니즘은 잘못된 추천 확률을 정확히 제한하였으며, 균일 샘플링은 정확한 결과일지라도 높은 위험 평가(0.67)를 보였다.
• 비례 모드와 무관심 모드는 유사하게 성능을 보였지만, 비례 모드는 평균적으로 열등한 성능를 보이지 않기 때문에 권장되었다.
• 시간적 의존성이 있는 하위집단(예: 계절 주기)이 존재하더라도 주기들이 자주 관찰된다면, 이 방법은 여전히 효과적이다.