[论文解读] Large-Scale Online Experimentation with Quantile Metrics

Min Liu, Xiaohui Sun+2 more|arXiv (Cornell University)|Mar 20, 2019

Advanced Bandit Algorithms Research参考文献 9被引用 6

一句话总结

本文提出了一种统计上有效且可扩展的方法，用于具有分位数指标（如 p90 页面加载时间）的 A/B 测试，通过结合基于动态直方图的分位数估计与一种新颖的方差估计器，校正了相关样本中的时间相关性。该方法相比自助法（bootstrap）实现了超过 500 倍的加速，同时与自助法估计结果保持 98% 的一致性，使 LinkedIn 等工业系统能够实现大规模实时分位数 A/B 测试。

ABSTRACT

Online experimentation (or A/B testing) has been widely adopted in industry as the gold standard for measuring product impacts. Despite the wide adoption, few literatures discuss A/B testing with quantile metrics. Quantile metrics, such as 90th percentile page load time, are crucial to A/B testing as many key performance metrics including site speed and service latency are defined as quantiles. However, with LinkedIn's data size, quantile metric A/B testing is extremely challenging because there is no statistically valid and scalable variance estimator for the quantile of dependent samples: the bootstrap estimator is statistically valid, but takes days to compute; the standard asymptotic variance estimate is scalable but results in order-of-magnitude underestimation. In this paper, we present a statistically valid and scalable methodology for A/B testing with quantiles that is fully generalizable to other A/B testing platforms. It achieves over 500 times speed up compared to bootstrap and has only $2\%$ chance to differ from bootstrap estimates. Beyond methodology, we also share the implementation of a data pipeline using this methodology and insights on pipeline optimization.

研究动机与目标

• 解决大规模 A/B 测试中分位数指标方差估计缺乏可扩展性和统计有效性的问题。
• 实现对 p50 和 p90 等分位数的实时 A/B 测试，这些指标对衡量用户体验至关重要，但因计算和统计挑战而未被充分利用。
• 开发一种方法，既准确（与自助法相当），又高效（比自助法快 500 倍），适用于工业级在线实验。
• 实现并优化一个数据流水线，支持在不同平台和实验类型中实现低延迟的分位数 A/B 测试。
• 提供一种可推广的解决方案，适用于 LinkedIn 生态系统之外的其他 A/B 测试平台。

提出的方法

• 该方法采用基于直方图的分位数估计技术，将页面加载时间聚合到数据分区内的区间中，以高效总结分布信息。
• 通过跨分区合并直方图来计算分位数，实现在不存储所有原始数据的情况下准确估计 p50 和 p90。
• 提出一种新颖的方差估计器，通过在样本分位数周围使用动态区间宽度，来考虑相关样本中的时间相关性，从而改善密度估计。
• 流水线采用数据归一化、按 memberId 和时间戳对指标和实验追踪信息进行共分区处理，并使用内存中的位图索引，以加速连接操作并减少 I/O。
• 在每个分区中计算汇总统计量，如 ∑Ji, ∑Pi, ∑Ji², ∑Pi², ∑JiPi, 和 ∑Wi，以在单次遍历中同时支持分位数和方差估计。
• 系统利用 Spark 进行分布式处理，通过数据压缩和分区策略防止数据爆炸，并确保 3000 亿行数据的处理时间控制在 2 小时以内。

实验结果

研究问题

• RQ1 能否开发一种可扩展的分位数指标方差估计器，在存在时间相关性的情况下仍保持统计有效性？
• RQ2 如何加速分位数 A/B 测试，以满足大规模生产系统中低延迟报告需求（例如 <5 小时）？
• RQ3 与自助法相比，该方法在估计分位数指标标准误方面的准确性如何？
• RQ4 与固定区间宽度相比，动态区间宽度对方差估计准确性有何影响？
• RQ5 该流水线在不同实验配置下（包括不同平台、地理区域和日期范围）的表现如何？

主要发现

• 所提方法的计算速度比自助法快超过 500 倍，将 3000 亿行数据的处理时间从数天缩短至 2 小时以内。
• 该方法与自助法估计结果差异超过 7% 的概率仅为 2%，表明其具有高度准确性和可靠性。
• 当名义显著性水平为 5% 时，使用该方法的实际第一类错误率接近 5%，证实了其统计有效性。
• 该方差估计器显著优于独立同分布（i.i.d.）渐近近似方法，后者将标准误低估了一个数量级，并导致 61% 的第一类错误。
• 流水线平均仅用 2 小时即可处理 30 天的数据（3000 亿行），满足 LinkedIn 要求的 <5 小时报告延迟。
• 使用位图进行实验追踪可实现高效的内存内连接，将 I/O 减少并使连接阶段加速数个数量级。