[论文解读] Designing and Deploying Online Field Experiments

Eytan Bakshy, Dean Eckles+1 more|arXiv (Cornell University)|Sep 10, 2014

Mobile Crowdsensing and Crowdsourcing参考文献 27被引用 8

一句话总结

本文介绍了PlanOut，一种领域特定语言，它将实验设计与应用代码解耦，使Facebook能够实现可扩展、可复现的在线实地实验。通过将处理方式表达为参数化脚本，PlanOut支持复杂设计——包括因子设计和条件分配——同时通过命名空间管理机制确保了低干扰、稳健的日志记录，实现了稳健的迭代实验，推动了真实数字系统中的因果推断。

ABSTRACT

Online experiments are widely used to compare specific design alternatives, but they can also be used to produce generalizable knowledge and inform strategic decision making. Doing so often requires sophisticated experimental designs, iterative refinement, and careful logging and analysis. Few tools exist that support these needs. We thus introduce a language for online field experiments called PlanOut. PlanOut separates experimental design from application code, allowing the experimenter to concisely describe experimental designs, whether common "A/B tests" and factorial designs, or more complex designs involving conditional logic or multiple experimental units. These latter designs are often useful for understanding causal mechanisms involved in user behaviors. We demonstrate how experiments from the literature can be implemented in PlanOut, and describe two large field experiments conducted on Facebook with PlanOut. For common scenarios in which experiments are run iteratively and in parallel, we introduce a namespaced management system that encourages sound experimental practice.

研究动机与目标

• 为解决大规模网络服务中缺乏支持复杂、迭代和分布式在线实地实验的工具问题。
• 通过将实验逻辑与应用代码解耦，减少错误并提高可复现性。
• 支持设计和部署超越简单A/B测试的复杂实验设计，如因子设计和条件分配。
• 通过结构化、版本控制的实验，实现长期、可推广的知识生成，而非短期优化。
• 提供可扩展的基础设施，以实现对并发、迭代实验的最小干扰管理，并确保一致的日志记录。

提出的方法

• PlanOut是一种领域特定语言（DSL），允许实验人员使用简单脚本定义参数化处理方式，抽象出底层实现细节。
• 该语言支持基本的随机分配原语，可组合实现复杂设计，包括多因素和条件实验。
• 实验逻辑封装在高层脚本中，使设计具有人类可读性、支持版本控制，并可轻松在团队间共享。
• 引入命名空间管理机制，以隔离实验、防止干扰，并支持并行和迭代部署。
• 系统与日志管道集成，确保一致的数据收集，并支持可靠的统计分析。
• 自定义操作符支持与离线计算（如图划分）集成，以及高级设计（如多臂赌博机或聚类随机化）的实现。

实验结果

研究问题

• RQ1 如何抽象并解耦实验设计与应用逻辑，以在大规模在线实验中提高可复现性并减少错误？
• RQ2 在生产系统中，支持复杂非平凡实验设计（如因子设计或条件分配）所需的实验设计模式和语言构造是什么？
• RQ3 如何有效管理迭代和并发实验，以防止干扰并确保统计有效性？
• RQ4 标准化、中心化的框架在多大程度上能提升在线实地实验的可扩展性和科学严谨性？
• RQ5 在存在网络效应或异质性处理反应的情况下，如何使实验结果在时间和人群之间更具可推广性？

主要发现

• PlanOut通过简洁、人类可读的脚本实现复杂实验设计（如因子设计和条件分配）的指定，且与应用代码完全解耦。
• 该语言及其配套管理机制支持安全、迭代的实验，即使在大型分布式工程环境中，也极大降低了设计或分析错误的风险。
• 通过集中化实验逻辑，PlanOut提升了可复现性，促进了跨团队的版本控制、日志记录和分析。
• 该系统支持超越简单A/B测试的实验部署，能够对用户行为和设计机制进行因果推断。
• 在Facebook的实际应用中，PlanOut实现了大规模实地实验，结果具有一致性、可审计性和可分析性，支持长期学习而非短期优化。
• 该框架通过自定义操作符支持与离线计算（如图划分）的集成，实现了聚类随机化等高级设计。