[論文レビュー] Online Controlled Experiments for Personalised e-Commerce Strategies: Design, Challenges, and Pitfalls

C. H. Bryan Liu, Benjamin Paul Chamberlain|arXiv (Cornell University)|Mar 16, 2018

Statistical Methods in Clinical Trials参考文献 27被引用数 3

ひとこと要約

本論文は、非等価なユーザー群や動的資格基準のため、従来のA/Bテストが機能しないオンライン制御実験において、パーソナライズド・インプリケーション戦略の評価に課題を提起するため、スタックドインクリメンタリティテスト（SIT）フレームワークを提案する。SITフレームワークは、戦略固有の正味利益をモデル化することで、統計的パワーとインクリメンタリティ推定を向上させ、現実の規模条件下で標準的なA/Bテストを上回る性能を示す。

ABSTRACT

Online controlled experiments are the primary tool for measuring the causal impact of product changes in digital businesses. It is increasingly common for digital products and services to interact with customers in a personalised way. Using online controlled experiments to optimise personalised interaction strategies is challenging because the usual assumption of statistically equivalent user groups is violated. Additionally, challenges are introduced by users qualifying for strategies based on dynamic, stochastic attributes. Traditional A/B tests can salvage statistical equivalence by pre-allocating users to control and exposed groups, but this dilutes the experimental metrics and reduces the test power. We present a stacked incrementality test framework that addresses problems with running online experiments for personalised user strategies. We derive bounds that show that our framework is superior to the best simple A/B test given enough users and that this condition is easily met for large scale online experiments. In addition, we provide a test power calculator and describe a selection of pitfalls and lessons learnt from our experience using it.

研究の動機と目的

• 動的で確率的なユーザー行動に基づくパーソナライズド・カスタマー戦略のテストにおいて、オンライン実験で統計的同等性の破綻が生じる根本的課題に対処すること。
• パーソナライズド戦略のA/Bテストにおいて、非資格ユーザーをコントロール群および処置群に含めることで発生する指標の希釈を克服すること。
• 正味利益（インクリメンタリティ × 投与範囲予測）を推定する統計的に妥当なフレームワークを提供し、有効な因果推論を保証すること。
• 大規模なインプリケーション・イーコマース環境における実験設計を支援する、SITフレームワークに特化した実用的でオープンソースのパワー計算ツールを提供すること。
• 外部要因や誤ったコントロール群の代理指標に起因するオンライン実験における実際の落とし穴を文書化・分析し、今後の実務を支援すること。

提案手法

• ユーザーが動的行動に基づいて戦略に資格を得るが、ランダム割り当てではないため、パーソナライズド戦略評価において標準的なA/Bテストの代替としてスタックドインクリメンタリティテスト（SIT）フレームワークを提案する。
• 戦略の正味利益を、その推定インクリメンタリティと、それに対して資格を得るユーザー数の予測値の積として定義し、戦略間の公平な比較を可能にする。
• 理論的境界を導出し、十分なユーザー数が確保できる状況では、SITが最良の単純A/Bテストを上回る統計的パワーを示すことを示す—これは大規模なインプリケーション・イーコマースプラットフォームで一般的に満たされる条件である。
• 複数の戦略を並列で評価するスタックド設計を採用し、各ユーザーは行動に基づいて1つの戦略に割り当てられるため、重複がなく、インクリメンタリティ推定が保持される。
• SIT実験の統計的パワーを推定するためのパワー計算ツール（オープンソース）を活用し、研究者が十分な感度を持つ実験を設計できるように支援する。
• 個々のインクリメンタリティをデータ品質指標として導入し、非資格ユーザーがコントロール指標に含まれるなど、誤ったコントロール群の代理指標を検出・是正する。

実験結果

リサーチクエスチョン

• RQ1 ユーザーが戦略にランダムに割り当てられない場合、パーソナライズド・インプリケーション・イーコマース戦略を公平に比較できるオンライン制御実験はどのように設計できるか？
• RQ2 SITフレームワークは、パーソナライズド戦略評価において、パワーと精度の観点で伝統的なA/Bテストに比べてどのような理論的統計的優位性を有するか？
• RQ3 オンライン実験において、特定の戦略に資格を得るユーザーのサブセットしか含まれない場合、指標の希釈はどのように軽減できるか？
• RQ4 SIT実験を実施する際の主なメソドロジカルな落とし穴は何か、そしてそれらはどのように検出・是正できるか？
• RQ5 コントロール群の代理指標は、外部要因やユーザー資格の誤分類の影響を受けることがあるが、それらを検証する方法は何か？

主な発見

• ユーザー数が十分に多い場合には、SITフレームワークは最良の単純A/Bテストを上回る統計的パワーを理論的に示す—これは大規模なインプリケーション・イーコマース環境で一般的に満たされる条件である。
• フレームワークは、戦略固有の正味利益（インクリメンタリティ × 投与範囲予測）をモデル化することで、インクリメンタリティを的確に分離し、パーソナライズド戦略の有効な比較を可能にする。
• 実世界の事例では、製品を閲覧したが同じセッション内で購入した顧客がコントロール群指標に含まれており、誤った負のインクリメンタリティ推定値が生じた。
• ブラック・フライデーの実験では、主要なセールのような外部要因がメールキャンペーンの観察されたインクリメンタリティを希釈させ、テストパワーを低下させ、結果を歪めることを示した。
• リターゲティング広告実験では、誤ったコントロール群の代理指標が、誤って否定的で不正確なベースラインパフォーマンスを示し、個々のインクリメンタリティをデータ品質指標として導入したことで是正された。
• オープンソース化されたSITパワー計算ツールにより、研究者が十分な統計的パワーを持つ実験を設計できるようになり、パーソナライズド戦略テストにおける2種類の誤り（Type IIエラー）のリスクが低減された。