[論文レビュー] On the Complexity of A/B Testing

Emilie Kaufmann, Olivier Cappé+1 more|arXiv (Cornell University)|May 13, 2014

Advanced Bandit Algorithms Research参考文献 12被引用数 12

ひとこと要約

本稿は、等分散を持つガウス分布における2腕バンディットモデルにおけるA/Bテストの分布依存下界を確立し、固定信頼性と固定予算設定の両方が同等の複雑さを示すことを示している。この場合、均一なサンプリングが最適である。ベルヌーイ分布の結果では、固定予算の複雑さが固定信頼性のそれより低く、適切な停止ルールを用いれば均一なサンプリングが実用的である。

ABSTRACT

A/B testing refers to the task of determining the best option among two alternatives that yield random outcomes. We provide distribution-dependent lower bounds for the performance of A/B testing that improve over the results currently available both in the fixed-confidence (or delta-PAC) and fixed-budget settings. When the distribution of the outcomes are Gaussian, we prove that the complexity of the fixed-confidence and fixed-budget settings are equivalent, and that uniform sampling of both alternatives is optimal only in the case of equal variances. In the common variance case, we also provide a stopping rule that terminates faster than existing fixed-confidence algorithms. In the case of Bernoulli distributions, we show that the complexity of fixed-budget setting is smaller than that of fixed-confidence setting and that uniform sampling of both alternatives -though not optimal- is advisable in practice when combined with an appropriate stopping criterion.

研究の動機と目的

• 固定信頼性および固定予算設定の下で、最良腕同定のタイトな分布依存下界を導出すること。
• 特にガウス分布およびベルヌーイ分布の結果分布に対して、固定信頼性と固定予算A/Bテストの本質的複雑さを比較すること。
• A/Bテストにおける均一サンプリング（ラウンドロビン）の最適性を評価し、いつ十分でいつ適応的サンプリングが必要かを特定すること。
• 等分散を持つガウス分布の場合に、既存の固定信頼性アルゴリズムを上回る性能を示す停止ルールを提案すること。
• 逐次テストにおける適応的サンプリングの利点が固定サンプリング戦略を上回る状況について、実用的な指針を提供すること。

提案手法

• 情報理論的下界を導出するため、KLダイバージェンスおよび尤度比解析を用い、最小の標本複雑さを特徴づける。
• i.i.d. のサブガウス分布に従う確率変数の和が大きくならない確率を制限するための発散不等式（補題6.2）を用い、逐次テストの信頼区間を可能にする。
• 繰り返し対数法則および集中不等式を用いて、有限標本性能を向上させる停止ルールを確立する。
• 固定信頼性と固定予算設定を、複雑さ指標 $\kappa_C(\nu)$ と $\kappa_B(\nu)$ を用いて比較し、等分散ガウスモデルでは両者が同等であることを示す。
• 測度の変更の考え方を用いて、誤差確率および標本複雑さの下界を導出し、代替モデル $\nu'$ に関して最適化を行う。
• 探索レートが $\beta(t,\delta) = \log(1/\delta) + \frac{3}{4}\log\log(1/\delta) + \frac{3}{2}\log\log(et)$ の形をとる逐次停止ルールを提案し、$\delta$-PAC性能を保証することが証明されている。

実験結果

リサーチクエスチョン

• RQ1 固定信頼性および固定予算設定の下で、A/Bテストにおける最良腕同定の根本的標本複雑さは何か？
• RQ2 ガウス分布およびベルヌーイ分布などの異なるパラメトリック分布において、複雑さ $\kappa_C(\nu)$ と $\kappa_B(\nu)$ はどのように比較できるか？
• RQ3 A/Bテストにおいて、均一サンプリング（ラウンドロビン）が最適または近似的に最適となる条件は何か？
• RQ4 問題の複雑さを事前に知らない状況で、逐次停止ルールが期待標本サイズを削減できるか？
• RQ5 期待標本サイズを最小限に抑えつつ $\delta$-PAC性能を保証する最適な探索レートは何か？

主な発見

• 等分散ガウス分布の場合、固定信頼性と固定予算設定の複雑さは同等であり、均一サンプリングが最適である。
• 等分散ガウス分布の場合、最適化された探索レートを用いることで、提案された停止ルールは既存の固定信頼性アルゴリズムよりも迅速に終了を達成する。
• ベルヌーイ分布の結果では、固定予算の複雑さ $\kappa_B(\nu)$ は固定信頼性の複雑さ $\kappa_C(\nu)$ よりも厳密に小さいため、固定予算戦略が本質的に効率的である。
• ベルヌーイ分布の結果では、適切な停止基準を組み合わせれば、最適でないものの均一サンプリングが実用上推奨される。
• 導出された下界はタイトであり、提案されたアルゴリズムの性能と一致しており、これらの設定におけるA/Bテストの理論的限界を確認している。
• 分析により、問題の複雑さが既知である場合には、適応的サンプリングを用いた逐次テストが期待標本サイズを均一サンプリングより小さくはしないが、複雑さが未知である場合には価値があることが示された。