[論文レビュー] Democratizing online controlled experiments at Booking.com

Raphaël Lopez Kaufman, Jegar Pitchforth+1 more|arXiv (Cornell University)|Oct 23, 2017

Scientific Computing and Data Management参考文献 9被引用数 22

ひとこと要約

Booking.com は、実験結果の中央リポジトリ、汎用的で拡張可能なコードライブラリ、リアルタイムのデータ品質モニタリング、エンド・ツー・エンドの所有権ガードを備えたスケーラブルで分散型のインfra構築により、オンライン制御実験を民主化している。これにより、すべてのチームが安全かつ効率的に実験を実施・分析・所有でき、組織全体で証拠に基づく製品開発が著しく加速された。

ABSTRACT

There is an extensive literature about online controlled experiments, both on the statistical methods available to analyze experiment results as well as on the infrastructure built by several large scale Internet companies but also on the organizational challenges of embracing online experiments to inform product development. At Booking.com we have been conducting evidenced based product development using online experiments for more than ten years. Our methods and infrastructure were designed from their inception to reflect Booking.com culture, that is, with democratization and decentralization of experimentation and decision making in mind. In this paper we explain how building a central repository of successes and failures to allow for knowledge sharing, having a generic and extensible code library which enforces a loose coupling between experimentation and business logic, monitoring closely and transparently the quality and the reliability of the data gathering pipelines to build trust in the experimentation infrastructure, and putting in place safeguards to enable anyone to have end to end ownership of their experiments have allowed such a large organization as Booking.com to truly and successfully democratize experimentation.

研究の動機と目的

• Booking.com 全体のすべての部門で技術的・文化的な障壁を取り除いて、広範かつ分散型の実験を可能にすること。
• 実験のスケーリングに伴う組織的課題に対処するため、所有権、信頼、知識共有を促進すること。
• 自動化されたガードレールと透明なレポートを通じて、大規模なオンライン実験における統計的厳密性とデータ信頼性を確保すること。
• 事前登録と実験設計の共同レビューを強制することで、p-hacking や偏った意思決定を低減すること。
• 拡張可能なトラッキングおよびメトリクスフレームワークを通じて、製品間・部門間の実験を支援すること。

提案手法

• 過去のすべての実験（仮説、結果、意思決定を含む）を検索可能で中央集権的なリポジトリとして維持し、チーム間の学びと監査可能性を促進する。
• ランダム化、データ収集、レポート生成を抽象化する汎用的で拡張可能な API レイヤーを提供し、実験をビジネスロジックから分離する。
• リアルタイムおよびバッチ集計メトリクスをサポートする拡張可能なメトリクスフレームワークを採用し、バイナリおよび連続的アウトカムに対応する。
• メールアドレス、ユーザーID などの拡張可能なトラッキング方法を用いて、製品間実験を可能にし、ユーザー単位のトラッキング精度を向上させる。
• 選択的脱落や欠落した識別子を自動検出するデータ品質チェックを実装し、警告をレポートに表示する。
• 実験開始前に仮説とメトリクスの事前登録を義務づけ、p-hacking の低減と統計的整合性の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 Booking.com のような大規模組織が、統計的厳密性とデータ品質を維持したまま、実験を分散型にどのように民主化できるか？
• RQ2 非専門家がオンライン制御実験を実施・解釈できるようにするために、どのようなインfra構造と文化的慣習が必要か？
• RQ3 組織が過去の実験から得た教訓を体系的に共有することで、失敗の繰り返しを避け、イノベーションを加速するにはどうすればよいか？
• RQ4 オンライン実験における欠落データや偏ったデータの存在下でも、データ信頼性を確保するにはどのようなガードレールが必要か？
• RQ5 実験のスピードとビジネスインパクトの正確な測定の両立をどのように図れるか？

主な発見

• Booking.com では、すべての製品で1日1000件以上の並行実験が実施されており、実験文化が会社全体に深く根付いている。
• 中央実験リポジトリのおかげで、チーム間での学びと過去の知見の再利用が可能となり、意思決定の質とイノベーションのスピードが著しく向上した。
• 拡張可能な API とメトリクスフレームワークのおかげで、チームは最小限のカスタムコードで新しい実験を実装でき、障壁とデプロイまでの時間が大幅に削減された。
• 選択的脱落や欠落した識別子の自動検出により、誤った結論を避けることができ、実験結果に対する信頼が向上した。
• 事前登録と共同レビューの実践により、p-hacking が低減し、実験結果の信頼性が向上した。
• エンド・ツー・エンドの所有権に加え、教育とサポートを組み合わせることで、非専門家も実験データに基づいた情報に基づいた意思決定を可能にした。