[论文解读] Democratizing online controlled experiments at Booking.com

Raphaël Lopez Kaufman, Jegar Pitchforth+1 more|arXiv (Cornell University)|Oct 23, 2017

Scientific Computing and Data Management参考文献 9被引用 22

一句话总结

Booking.com 通过构建一个可扩展、去中心化的基础设施，使在线受控实验民主化，该基础设施包含一个集中式的实验结果仓库、一个通用且可扩展的代码库、实时数据质量监控，以及端到端的所有权保障。这使得所有团队能够安全、高效地运行、分析和负责实验，显著加快了组织内基于证据的产品开发速度。

ABSTRACT

There is an extensive literature about online controlled experiments, both on the statistical methods available to analyze experiment results as well as on the infrastructure built by several large scale Internet companies but also on the organizational challenges of embracing online experiments to inform product development. At Booking.com we have been conducting evidenced based product development using online experiments for more than ten years. Our methods and infrastructure were designed from their inception to reflect Booking.com culture, that is, with democratization and decentralization of experimentation and decision making in mind. In this paper we explain how building a central repository of successes and failures to allow for knowledge sharing, having a generic and extensible code library which enforces a loose coupling between experimentation and business logic, monitoring closely and transparently the quality and the reliability of the data gathering pipelines to build trust in the experimentation infrastructure, and putting in place safeguards to enable anyone to have end to end ownership of their experiments have allowed such a large organization as Booking.com to truly and successfully democratize experimentation.

研究动机与目标

• 通过消除技术和文化障碍，实现在 Booking.com 全公司范围内广泛、去中心化的实验。
• 通过促进所有权、信任和知识共享，解决组织在规模化实验过程中面临的挑战。
• 通过自动化保障机制和透明报告，确保大规模在线实验中的统计严谨性和数据可靠性。
• 通过强制预注册和实验设计的同行评审，减少 p-hacking 和偏差决策。
• 通过可扩展的追踪和指标框架，支持跨产品和跨部门的实验。

提出的方法

• 维护一个集中、可搜索的所有历史实验的仓库，包括假设、结果和决策，以支持跨团队学习和可审计性。
• 提供一个通用且可扩展的 API 层，抽象化随机化、数据收集和报告功能，将实验与业务逻辑解耦。
• 采用可扩展的指标框架，支持实时和批量聚合指标，同时支持二元和连续结果。
• 使用可扩展的追踪方法（例如电子邮件、用户 ID），以支持跨产品实验并提高用户级别追踪的准确性。
• 实施自动化数据质量检查，以检测选择性流失和缺失标识符，并在报告中提供警告和可见性。
• 在实验启动前强制预注册假设和指标，以减少 p-hacking 并提高统计完整性。

实验结果

研究问题

• RQ1 像 Booking.com 这样大型组织如何在保持统计严谨性和数据质量的前提下实现实验的去中心化？
• RQ2 需要哪些基础设施和文化实践，才能使非专家能够运行和解读在线受控实验？
• RQ3 组织如何系统性地共享过往实验的经验教训，以避免重复失败并加速创新？
• RQ4 在在线实验中存在缺失或偏差数据的情况下，需要哪些保障措施来确保数据可靠性？
• RQ5 组织如何在实验速度与准确衡量业务影响之间取得平衡？

主要发现

• Booking.com 每天在所有产品中运行超过一千项并行实验，实验已深度融入公司文化。
• 集中式实验仓库支持跨团队学习并复用过往洞察，显著提升了决策质量和创新速度。
• 可扩展的 API 和指标框架使团队能够以极少的自定义代码实现新实验，降低了摩擦并缩短了部署时间。
• 对选择性流失和缺失标识符的自动化检测防止了误导性结论，增强了对实验结果的信任。
• 预注册和同行评审实践减少了 p-hacking，提升了实验结果的可靠性。
• 端到端的所有权，结合培训与支持，使非专家能够基于实验数据做出明智决策。