[論文レビュー] Percent Change Estimation in Large Scale Online Experiments

Jacopo Soriano|arXiv (Cornell University)|Nov 1, 2017

Statistical Methods in Clinical Trials参考文献 12被引用数 34

ひとこと要約

本論文では、大規模なA/B実験におけるパcent変化推定を改善するために、前処理期間のデータを共変量として活用する2段階の目的的ベイズモデルを提案する。前処理メトリクスを組み込むことで、従来の手法に比べて信頼区間が最大50%まで狭まり、点推定値の精度が向上し、Web製品メトリクスにおける小さなが重要な変化の検出感度が向上する。

ABSTRACT

Online experiments are a fundamental component of the development of web-facing products. Given their large user-bases, even small product improvements can have a large impact on user engagement or profits on an absolute scale. As a result, accurately estimating the relative impact of these changes is extremely important. I propose an approach based on an objective Bayesian model to improve the sensitivity of percent change estimation in A/B experiments. Leveraging pre-period information, this approach produces more robust and accurate point estimates and up to 50% tighter credible intervals than traditional methods. The R package abpackage provides an implementation of the approach.

研究の動機と目的

• 大規模オンライン実験において、従来の手法が統計的パワーに欠けるため、小さなが重要な相対的変化を検出する課題に対処すること。
• 分析段階で前処理データを共変量として活用することで、パcent変化推定の精度と頑健性を向上させること。
• 非線形関数（例：パcent変化）における不確実性の自然な伝播と推論を可能にしつつ、良好な頻度的性質を維持する手法を開発すること。
• 主観的な事前分布の特定を回避し、階層的または非一様な処置効果モデルへの拡張を可能にする、一般化可能で目的的なベイズ枠組みを提供すること。

提案手法

• 前処理メトリクスを共変量として用い、処理群および対照群の後処理平均を補正する2段階の目的的ベイズモデルを採用する。
• 主観的な事前分布の指定を必要とせず、良好な頻度的性質を保証する非情報的（目的的）事前分布を用いる。
• パーセント変化（μ_treatment - μ_control） / μ_control に対して後部分布推論を実施し、段階を跨いで不確実性が自然に伝播する。
• 前処理の変動を考慮することで分散低減が実現され、信頼区間が狭くなる。
• 後部計算を高速化するための効率的アルゴリズムを導入し、大規模オンライン実験へのスケーラビリティを確保する。
• 本手法は、https://google.github.io/abpackage で公開されているオープンソースRパッケージ abpackage として実装されている。

実験結果

リサーチクエスチョン

• RQ1 前処理データは、A/B実験におけるパーセント変化推定の精度向上に効果的に活用可能か？
• RQ2 フィーラー法、テイラー法、インデックスベース手法といった古典的手法と比較して、提案手法の信頼区間幅とバイアスはどのように異なるか？
• RQ3 前処理共変量を組み込むことで、信頼区間幅がどの程度短縮されるか、かつ顕著なバイアスが生じるかどうか。
• RQ4 目的的事前分布を用いても、パーセント変化のようなスケールフリー効果サイズにおける推論を維持できるか？
• RQ5 狭い信頼区間が実験設計に与える実用的影響（例：実験期間の短縮、流量の削減）は何か？

主な発見

• 提案されたPre-Postベイズ手法は、前処理データを無視する従来手法に比べ、信頼区間幅を最大50%まで短縮する。
• 本手法は、さまざまな処置効果レベルやデータ生成モデルにおいて、顕著なバイアスがほとんどない、非常に精度の高い点推定値を生成する。
• ベルヌーイ分布および指数分布の両方のデータ生成プロセス下で、Pre-Post手法のバイアスは信頼区間幅に比べて無視できるほど小さい。
• 本手法は良好な頻度的カバレッジ性質を維持しており、主観的でない事前分布を用いても信頼できる推論が可能である。
• 小さな効果に対する感度が向上するため、実験サイクルの短縮や流量の削減が可能になりつつ、統計的パワーを維持できる。
• オープンソースのabpackage Rパッケージにより、生産環境でのオンライン実験に向けたスケーラブルでアクセス可能な実装が提供されている。