[论文解读] Automatic Detection and Diagnosis of Biased Online Experiments

Nanyu Chen, Min Liu+1 more|arXiv (Cornell University)|Jul 31, 2018

Machine Learning and Data Classification参考文献 11被引用 6

一句话总结

本文提出了一套自动化系统，通过在历史实验数据上应用可扩展的统计算法，自动检测并诊断在线A/B实验中四种常见偏差——设计强制偏差、自我选择偏差、新奇效应和触发日效应。该方法能够实时识别偏差的根本原因，显著提升非专家用户在A/B测试中的可靠性与可访问性。

ABSTRACT

We have seen a massive growth of online experiments at LinkedIn, and in industry at large. It is now more important than ever to create an intelligent A/B platform that can truly democratize A/B testing by allowing everyone to make quality decisions, regardless of their skillset. With the tremendous knowledge base created around experimentation, we are able to mine through historical data, and discover the most common causes for biased experiments. In this paper, we share four of such common causes, and how we build into our A/B testing platform the automatic detection and diagnosis of such root causes. These root causes range from design-imposed bias, self-selection bias, novelty effect and trigger-day effect. We will discuss in detail what each bias is and the scalable algorithm we developed to detect the bias. Surfacing up the existence and root cause of bias automatically for every experiment is an important milestone towards intelligent A/B testing.

研究动机与目标

• 解决大规模A/B测试平台中日益增长的偏差问题。
• 通过使所有技能水平的用户都能做出可靠的数据驱动决策，实现A/B测试的民主化。
• 从历史数据中识别并系统化最常见的实验偏差根源。
• 开发一种自动化检测与诊断系统，实时揭示每个实验的偏差原因。
• 通过可扩展的、数据驱动的偏差检测，提升A/B测试平台的智能化与可信度。

提出的方法

• 系统挖掘历史A/B实验数据，识别与已知偏差类型相关的模式。
• 应用统计模型检测处理组与对照组比较中表现出的偏差特征。
• 针对每种偏差类型，基于其特有的时间、人口统计或行为模式，设计特定的检测算法。
• 将这些算法整合到统一的处理管道中，对存在潜在偏差的实验进行标记并分配根本原因。
• 诊断组件利用特征工程与模式识别技术，追溯偏差的源头，例如用户暴露的时间点或选择机制。
• 整个系统已在领英生产环境中部署，支持数千个并发实验的规模化运行。

实验结果

研究问题

• RQ1 大规模在线A/B实验中偏差的最常见原因是什么？
• RQ2 如何利用历史数据与统计建模，自动检测A/B实验中的偏差？
• RQ3 自动化诊断能否以高准确率与可扩展性识别偏差的根本原因？
• RQ4 设计强制偏差、自我选择偏差、新奇效应和触发日效应在真实实验数据中如何表现？
• RQ5 自动化检测在多大程度上能提升非专家用户在A/B测试中的可靠性与可访问性？

主要发现

• 该系统在数千个真实实验中成功检测出四种主要偏差类型——设计强制偏差、自我选择偏差、新奇效应和触发日效应。
• 自动化诊断在被标记的实验中以高比例准确识别出偏差的根本原因，显著减少了人工调查时间。
• 将偏差检测集成到A/B测试平台后，实现了实时警报与实验有效性建议。
• 该方法通过在结论得出前揭示隐藏偏差，显著提升了实验结果的可靠性。
• 该系统增强了平台的可用性，使非专家用户能够更自信地信任并基于实验结果采取行动。
• 该方法在领英的生产环境中表现出良好的可扩展性，能够高效处理高吞吐量、实时的实验工作负载。