[論文レビュー] Statistical Challenges in Online Controlled Experiments: A Review of A/B Testing Methodology

Nicholas Larsen, Jonathan W. Stallrich+4 more|arXiv (Cornell University)|Dec 21, 2022

Optimal Experimental Design Methods被引用数 10

ひとこと要約

この論文は、大規模なインターネットアプリケーションにおけるA/Bテストを含むオンライン制御実験（OCEs）における統計的課題をレビューしている。現在の実践におけるメソッド論的ギャップを明らかにし、並行して実施される実験、相互作用、倫理的懸念に対処するための高度な統計的手法の必要性を強調するとともに、因果推論および実験設計分野における新たな研究機会に対処するため、学術界と産業界の連携を促している。

ABSTRACT

The rise of internet-based services and products in the late 1990's brought about an unprecedented opportunity for online businesses to engage in large scale data-driven decision making. Over the past two decades, organizations such as Airbnb, Alibaba, Amazon, Baidu, Booking, Alphabet's Google, LinkedIn, Lyft, Meta's Facebook, Microsoft, Netflix, Twitter, Uber, and Yandex have invested tremendous resources in online controlled experiments (OCEs) to assess the impact of innovation on their customers and businesses. Running OCEs at scale has presented a host of challenges requiring solutions from many domains. In this paper we review challenges that require new statistical methodologies to address them. In particular, we discuss the practice and culture of online experimentation, as well as its statistics literature, placing the current methodologies within their relevant statistical lineages and providing illustrative examples of OCE applications. Our goal is to raise academic statisticians' awareness of these new research opportunities to increase collaboration between academia and the online industry.

研究の動機と目的

• 主なテックプラットフォームが使用する大規模オンライン制御実験（OCEs）における主要な統計的課題を特定・レビューすること。
• 特に相互作用効果、多重検定、実験設計に関する現在のOCE実践におけるメソッド論的ギャップを浮き彫りにすること。
• OCE分野における新たな統計的研究機会に対処するため、学術界の統計学者と産業界の実務家との連携を促進すること。
• 人間被験者を含むOCEにおける倫理的懸念、特に同意の取得とデータプライバシーを検討し、それらが実験設計に与える影響を明らかにすること。
• ランダム化比較試験（RCT）が実行不可能な状況において、観察的研究手法と比較して、OCEを因果推論の文脈全体の中で位置づけること。

提案手法

• オンライン制御実験分野における統計的文献および産業実務の体系的レビュー。A/Bテストおよび多変量テストのメソドロジーに重点を置く。
• グーグル、アマゾン、エアビーアイアン、フェイスブックなどの企業から得た実世界のOCE応用事例の分析により、統計的および倫理的課題を提示する。
• 実験設計の選択がもたらす影響を示すための例示的例（例：「41種類のブルー」A/Bテスト、広告表示最適化）を用いる。
• 要因設計、逐次的検定、パネル実験におけるノンパラメトリック推定器を含む統計的手法の評価。
• 並行して実施される実験間の相互作用を検出・推定するための方法論の議論。特に直交設計および検証プロトコルの使用を含む。
• 倫理的枠組みおよびデータプライバシーの懸念の検討。特に差分プライバシーと再識別リスクを含むOCEにおける課題。

実験結果

リサーチクエスチョン

• RQ1 大規模なオンライン制御実験をスケールで実施する際の主な統計的課題は何か？
• RQ2 複数の並行実験間の相互作用は、A/Bテスト枠組み内でどのように検出され、回避され、または推定されるか？
• RQ3 高次元・多変量実験の文脈において、伝統的なA/Bテストの限界は何か？
• RQ4 同意の取得や実験におけるだましの有無といった倫理的懸念は、OCEの妥当性と受容可能性にどのように影響を与えるか？
• RQ5 ランダム化比較試験（RCT）が実行不可能な状況では、観察的研究による因果推論手法が、なぜあるいはどのように好まれるか、あるいは必要とされるか？

主な発見

• OCEsは、主要テック企業における意思決定の中心的役割を果たしており、1日あたり何百もの実験が数百万のユーザーに対して実施されており、データドリブンな製品最適化を可能にしている。
• グーグルの「41種類のブルー」A/Bテストは、年間約2億ドルの収益増加をもたらしたと推定されており、わずかなデザイン変更がもたらす高い財務的インパクトを示している。
• アマゾンの、クレジットカードオファーをホームページからチェックアウトページに移動させたA/Bテストは、年間数千万ドルの追加利益を生み出した。
• ビングの広告表示A/Bテストは、米国で1億ドルの追加収益をもたらした。これは、OCEのスケーラビリティと財務的意義の高さを強調している。
• 悪いアイデアや実装バグのため、OCEの失敗率は90％を超えることもあり、きめ細やかな実験設計と検証の重要性を浮き彫りにしている。
• フェイスブックの感情伝染研究のような、だましを伴う実験やギグエコノミーの労働者に影響を与える実験では、同意の取得と自律性に関する倫理的懸念が生じ、問題を引き起こす。