[論文レビュー] A/B/n Testing with Control in the Presence of Subpopulations

Yoan Russac, Christina Katsimerou+4 more|arXiv (Cornell University)|Oct 29, 2021

Statistical Methods in Clinical Trials被引用数 4

ひとこと要約

本稿では、サブポピュレーションを考慮した状況下で、サブポピュレーション情報に基づく適応的サンプリングを用いて、コントロールより優れたすべてのアームを特定する漸近的に最適な逐次的 A/B/n ティング戦略を提案する。この手法は、不確実性に基づいてサンプルを動的にアームに割り当てることで、理論的保証が得られるサンプル複雑性を達成する。停止時間と誤差率について、3つの相互作用モード（アクティブ、パッシブ、無知）において有効である。

ABSTRACT

Motivated by A/B/n testing applications, we consider a finite set of distributions (called \emph{arms}), one of which is treated as a \emph{control}. We assume that the population is stratified into homogeneous subpopulations. At every time step, a subpopulation is sampled and an arm is chosen: the resulting observation is an independent draw from the arm conditioned on the subpopulation. The quality of each arm is assessed through a weighted combination of its subpopulation means. We propose a strategy for sequentially choosing one arm per time step so as to discover as fast as possible which arms, if any, have higher weighted expectation than the control. This strategy is shown to be asymptotically optimal in the following sense: if $τ_δ$ is the first time when the strategy ensures that it is able to output the correct answer with probability at least $1-δ$, then $\mathbb{E}[τ_δ]$ grows linearly with $\log(1/δ)$ at the exact optimal rate. This rate is identified in the paper in three different settings: (1) when the experimenter does not observe the subpopulation information, (2) when the subpopulation of each sample is observed but not chosen, and (3) when the experimenter can select the subpopulation from which each response is sampled. We illustrate the efficiency of the proposed strategy with numerical simulations on synthetic and real data collected from an A/B/n experiment.

研究の動機と目的

• サブポピュレーションが存在する状況下で、コントロールより優れたすべてのアームを効率的に特定する逐次的テストポリシーの開発。
• A/B/n ティングにおける均一サンプリングの非効率性を是正し、サブポピュレーション構造に基づいたサンプル割り当ての適応的改善。
• サブポピュレーションの観察可能性や制御度が変化する状況下でも、サンプル複雑性と誤差確率に関する理論的保証の提供。
• 適切にキャリブレートされたリスク評価を用いたいつでも停止可能な意思決定を可能にし、実用的導入における早期停止を支援。
• アクティブ、割合的、無知、無知の4つのサブポピュレーション相互作用モードが意思決定速度と正確性に与える影響の評価。

提案手法

• ABC-S（サブポピュレーションにおけるコントロールより優れたアーム）に適応した Track-and-Stop フレームワークを提案。逐次的サンプリングと停止ルールを用いる。
• サブポピュレーションの頻度と重要度に応じて、それらの平均を重み付けした期待値基準を導入。
• 信頼区間に基づくサンプリングルールを採用。コントロールに対する不確実性が最も高いアームを優先的にサンプリングし、期待されるサンプル複雑性を最小化。
• 逐次的に更新されるリスク評価メカニズムを設計。これにより、誤った推奨の確率が報告されたリスクで有界に保たれる。
• 3つの相互作用モードを検討：(1) アクティブ（学習者がサブポピュレーションを選択）、(2) パッシブ（サブポピュレーションが観測されても選択されない）、(3) 無知（サブポピュレーションへのアクセスなし）。
• 期待停止時刻 E[τδ] が、すべての3つのモードで最適レートで log(1/δ) に比例して増加することを示すことにより、漸近的最適性を導出。

実験結果

リサーチクエスチョン

• RQ1 サブポピュレーションが存在する状況下で、逐次的サンプリング戦略が、コントロールより優れたすべてのアームを特定する際に漸近的に最適となるか。
• RQ2 サブポピュレーションを選択または観測できる能力が、優れたアームを特定するためのサンプル複雑性に与える影響は何か。
• RQ3 実験全体を通じてリスク評価を維持でき、保証された誤差制御のもとでいつでも停止可能なか。
• RQ4 異なるサブポピュレーション相互作用モード下での固定信頼度設定における理論的サンプル複雑性レートは何か。
• RQ5 サブポピュレーションを伴う実世界および合成データの A/B/n 実験において、適応的サンプリングポリシーは均一サンプリングと比べてどのように異なるか。

主な発見

• 提案手法は漸近的に最適であり、E[τδ] がすべての3つの相互作用モードで最適レート log(1/δ) に比例して増加する。
• 学習者がサブポピュレーションを選択するアクティブサンプリングは、パッシブまたは無知モードと比較して意思決定時間を顕著に短縮する。
• 季節的サブポピュレーションを有する実世界データセットにおいて、適応的サンプリングは均一サンプリングよりもサンプル複雑性を低減し、アクティブモードが最も速く終了した。
• リスク評価メカニズムは誤った推奨の確率を正しく有界に保ち、均一サンプリングでは正しくてもリスク評価が著しく高い（0.67）ことが示された。
• 割合的モードと無知モードは類似した性能を示したが、割合的モードは平均的に常に劣らないため推奨された。
• 時間的依存性（例：季節サイクル）を有するサブポピュレーションであっても、サイクルが頻繁に観測される限り、この手法は有効である。