[論文レビュー] Online Evaluation for Effective Web Service Development

Roman Budylin, Alexey Drutsa+3 more|arXiv (Cornell University)|Sep 3, 2018

Service-Oriented Architecture and Web Services参考文献 51被引用数 4

ひとこと要約

本論文は、産業界におけるWebサービス開発を対象に、オンライン評価の包括的なチュートリアルを提示している。A/Bテストおよびオンライン制御実験に焦点を当て、統計的基盤、メトリクス設計、実験パイプライン、機械学習を活用した手法をカバーしており、大規模なWebプラットフォームにおけるオンライン評価の効率性、正確性、スケーラビリティを向上させるための実用的ガイダンスと最先端の手法を提供している。

ABSTRACT

Development of the majority of the leading web services and software products today is generally guided by data-driven decisions based on evaluation that ensures a steady stream of updates, both in terms of quality and quantity. Large internet companies use online evaluation on a day-to-day basis and at a large scale. The number of smaller companies using A/B testing in their development cycle is also growing. Web development across the board strongly depends on quality of experimentation platforms. In this tutorial, we overview state-of-the-art methods underlying everyday evaluation pipelines at some of the leading Internet companies. Software engineers, designers, analysts, service or product managers --- beginners, advanced specialists, and researchers --- can learn how to make web service development data-driven and do it effectively.

研究の動機と目的

• オンライン評価とA/Bテストを用いた実用的でデータドリブンなフレームワークを提供すること。
• 方向性が正確で、実際のユーザーへの影響に敏感な、効果的な評価メトリクスを設計する課題に取り組むこと。
• 主要なインターネット企業における大規模な実験パイプラインにおける産業界のベストプラクティスと落とし穴を共有すること。
• 特に機械学習ベースの手法を含む高度な技術を紹介し、オンライン実験の効率性と感度を向上させること。
• オンライン実験における未解決の研究課題、特に異質な処置効果や逐次的検定について強調すること。

提案手法

• p値、第一種・第二種の誤り、仮説検定（t検定、マン・ホイットニーU検定、ブートストラップ）を含む統計的基盤を用いて、実験結果の妥当性を検証する。
• A/Bテストの主要な構成要素を紹介する：対照群と処置群、主要メトリクス、OEC（全体評価基準）、OAC（全体受容基準）。
• ユーザー行動における意味のある変化を検出できるように、方向性と感度に重点を置いたメトリクス設計の原則を提案する。
• 回帰補正、層別化、勾配ブースティングツリーを含む分散低減技術を適用し、メトリクスの精度を向上させる。
• 最適分布分解（ODD）を用いて、平均のシフトを超えた処置群と対照群の分布差を検出する。
• 実験の早期終了および最適なスケジューリング手法を採用し、期間とリソース使用量を削減しながら第一種誤りを制御する。

実験結果

リサーチクエスチョン

• RQ1 どのようにすれば、ユーザー体験の変化を信頼性高く反映し、操作やゲーム化を回避できる評価メトリクスを設計できるか？
• RQ2 大規模なオンライン実験における主な統計的・メソドロジカルな落とし穴は何か、そしてそれらをどのように緩和できるか？
• RQ3 機械学習技術は、従来の手法を超えて、オンラインA/Bテストの感度と効率性をどのように向上させられるか？
• RQ4 処置群と対照群の間の分布レベルの差をどのように検出し、より良い評価に活用できるか？
• RQ5 産業界の環境において、スケーラビリティ、スピード、耐障害性を最適化したオンライン実験パイプラインはどのように設計できるか？

主な発見

• 方向性に整合性があり、感度の高いメトリクスを用いることで、サービス変更に関する誤った結論を減らすことができ、オンライン評価の信頼性が著しく向上する。
• 回帰補正と勾配ブースティングツリーは、メトリクスの分散を低減し、より少ないユーザー数で処置効果を早期に検出可能にする。
• ODD手法は平均のシフトを超えた分布差を検出でき、複雑なユーザー行動の変化に対する感度を高める。
• メトリクスの組み合わせ学習により、大規模な実験における感度が向上し、実証的評価でもその有効性が示された。
• 最適なスケジューリングと早期終了手順により、実験期間を短縮しながら統計的妥当性を維持し、第一種誤りを制御できる。
• Yandex、Bing、Googleなどの企業における産業規模の実験パイプラインは、1日あたり数百から1000以上のA/Bテストを実行しており、このフレームワークのスケーラビリティが裏付けられている。