[論文レビュー] A/B Testing: A Systematic Literature Review

Federico Quin, Danny Weyns+2 more|arXiv (Cornell University)|Aug 9, 2023

Software Engineering Research被引用数 6

ひとこと要約

本研究は、ソフトウェア工学分野におけるA/Bテスト研究の現状を把握するため、141件の一次研究を分析した体系的レビューである。本研究では、主な対象（アルゴリズム、ビジュアル要素、ワークフロー）、主なテストタイプ（仮説検定を用いたクラシックなA/Bテスト）、関係者役割（デザイナー、アーキテクト、技術者、調整者、評価者）、収集されるデータタイプ（製品、ユーザー中心、空間的・時間的）、および結果の一般的な活用方法（機能選定と展開）を特定した。今後の研究方向性として、統計的手法の強化、A/Bテストプロセスの改善、自動化の促進の3つを提案する。

ABSTRACT

In A/B testing two variants of a piece of software are compared in the field from an end user's point of view, enabling data-driven decision making. While widely used in practice, no comprehensive study has been conducted on the state-of-the-art in A/B testing. This paper reports the results of a systematic literature review that analyzed 141 primary studies. The results shows that the main targets of A/B testing are algorithms and visual elements. Single classic A/B tests are the dominating type of tests. Stakeholders have three main roles in the design of A/B tests: concept designer, experiment architect, and setup technician. The primary types of data collected during the execution of A/B tests are product/system data and user-centric data. The dominating use of the test results are feature selection, feature rollout, and continued feature development. Stakeholders have two main roles during A/B test execution: experiment coordinator and experiment assessor. The main reported open problems are enhancement of proposed approaches and their usability. Interesting lines for future research include: strengthen the adoption of statistical methods in A/B testing, improving the process of A/B testing, and enhancing the automation of A/B testing.

研究の動機と目的

• A/Bテスト研究における現状の最先端技術を包括的かつ実証的根拠に基づいて概説すること。
• 研究的視点から、A/Bテストの主な対象、設計パターン、実行手法、関係者役割を特定すること。
• A/Bテストにおける未解決の課題と研究ギャップを明らかにし、今後の学術的および産業的研究を支援すること。
• 実務家を支援するために、A/Bテストプロセスおよびツールの改善機会を特定すること。

提案手法

• 主要なコンピュータサイエンスのデジタル図書館を対象に、事前に定義された検索キーワードを用いて体系的文献レビューを実施した。
• 短い論文、デモ論文、ロードマップ論文を除外するための包括・除外基準を適用し、141件の一次研究を選定した。
• 研究の信頼性を確保しバイアスを低減するため、品質スコアリングシステム（4未満の研究は除外）を導入した。
• A/Bテストの対象、設計、実行、関係者役割、データタイプ、結果の活用方法について、データ抽出を実施した。
• 外部妥当性を高め、リトリーブバイアスを低減するために、スノーボール法とクロスチェックを適用した。
• テーマ分析に基づき、オープンな問題を分類し、今後の研究方向性を導出した。

実験結果

リサーチクエスチョン

• RQ1 ソフトウェアシステムにおけるA/Bテストの主な対象は何か？
• RQ2 実際のA/Bテストはどのように設計・実行されており、関係者にはどのような役割が割り当てられているか？
• RQ3 A/Bテスト中に収集されるデータタイプは何か？ また、結果はどのように活用されているか？
• RQ4 文献で報告されている主な未解決の課題と制限は何か？
• RQ5 A/Bテスト分野における今後の有望な研究方向性は何か？

主な発見

• A/Bテストの主な対象は、アルゴリズム、ビジュアル要素、およびワークフローまたはプロセスの変更であり、特にWeb、検索エンジン、および電子商取引分野が最も頻繁に応用されている。
• 2つのバージョンを比較するクラシックなA/Bテストが主流であり、主に仮説検定を用いた結果分析が行われている。一部の研究ではブートストラップ法の応用が注目されている。
• 設計段階では、関係者に3つの役割が存在する：コンセプトデザイナー、実験アーキテクト、セットアップ技術者。実行段階では2つの役割が存在する：実験調整者、実験評価者。
• 最も頻繁に収集されるデータタイプは、製品／システムデータ、ユーザー中心のデータ、空間的・時間的データであり、これらは基本的な指標を超えた分析を可能にしている。
• テスト結果は、主に機能選定、段階的機能展開、継続的開発、および次のA/Bテスト設計の根拠として活用されている。
• 7つのオープンな問題のカテゴリーが特定され、それらには、提案手法の強化、評価・分析手法の改善、A/Bテストプロセスの自動化とスケーラビリティの向上が含まれる。