[论文解读] Applying the Delta method in metric analytics: A practical guide with novel ideas

Alex Deng, Ulf Knoblich+1 more|arXiv (Cornell University)|Mar 16, 2018

Distributed Sensor Networks and Detection Algorithms参考文献 25被引用 5

一句话总结

本文提出了一种在大规模指标分析中应用Delta方法的实用指南，使复杂在线指标（如比率、分位数和组内A/B测试统计量）的高效、分布式推断成为可能。通过利用渐近正态性和非线性变换，Delta方法提供了易于并行化的闭式方差估计，优于基于模拟的方法，并能稳健处理缺失数据。

ABSTRACT

During the last decade, the information technology industry has adopted a data-driven culture, relying on online metrics to measure and monitor business performance. Under the setting of big data, the majority of such metrics approximately follow normal distributions, opening up potential opportunities to model them directly without extra model assumptions and solve big data problems via closed-form formulas using distributed algorithms at a fraction of the cost of simulation-based procedures like bootstrap. However, certain attributes of the metrics, such as their corresponding data generating processes and aggregation levels, pose numerous challenges for constructing trustworthy estimation and inference procedures. Motivated by four real-life examples in metric development and analytics for large-scale A/B testing, we provide a practical guide to applying the Delta method, one of the most important tools from the classic statistics literature, to address the aforementioned challenges. We emphasize the central role of the Delta method in metric analytics by highlighting both its classic and novel applications.

研究动机与目标

• 解决在大数据环境中对复杂在线指标进行可信估计与推断的挑战。
• 通过提供闭式、可分布计算的方法，克服基于模拟的方法（如自助法）的局限性。
• 为比率指标、分位数指标、聚类随机化以及组内研究中的缺失数据提供统一的处理框架。
• 展示Delta方法在具有非独立同分布数据结构的真实A/B测试场景中的灵活性与稳健性。
• 揭示混合效应模型在处理与治疗相关联的缺失数据模式时的局限性，并将Delta方法定位为更优替代方案。

提出的方法

• 应用Delta方法，将样本均值的渐近正态性扩展至指标的非线性变换，使用一阶泰勒展开。
• 使用Delta方法推导比率指标的闭式方差估计，避免模拟，实现分布式计算。
• 将Delta方法与外置置信区间结合，以稳健的非参数方式估计分位数指标的方差。
• 提出数据增强作为处理组内研究中缺失数据的创新技术，保持统计效率。
• 将加权平均估计量形式化为完整与不完整组估计之间的桥梁，在固定效应假设下显示其与混合效应模型的等价性。
• 在分布式系统（如Apache Spark）中实现所有方法，以确保可扩展性与低计算成本。

实验结果

研究问题

• RQ1 如何利用Delta方法实现在大规模A/B测试中对复杂指标（如比率和分位数）的高效、闭式推断？
• RQ2 在分布式大数据系统中，与基于模拟的方法（如自助法）相比，Delta方法有何优势？
• RQ3 当缺失机制未知或与治疗效应相关时，Delta方法如何处理组内研究中的缺失数据？
• RQ4 当治疗效应在不同缺失数据模式下变化时，Delta方法在哪些方面优于混合效应模型？
• RQ5 Delta方法能否系统性地应用于包括聚类随机化和纵向设计在内的广泛指标分析问题？

主要发现

• Delta方法实现了比率指标的闭式、分布式方差估计，在无需模拟的情况下达到高精度。
• 对于分位数指标，结合Delta方法与外置置信区间可获得稳健的方差估计，其可靠性优于传统自助法。
• 在存在缺失数据的组内研究中，结合数据增强的Delta方法可提供一致且高效的估计，而混合效应模型在缺失与治疗相关时可能产生偏差。
• 通过Delta方法推导出的加权平均估计量在治疗效应在各组间固定时，与混合效应模型高度一致，验证了其理论合理性。
• 在信息性缺失场景下，Delta方法的方差估计始终比混合效应模型更接近真实抽样方差。
• 所有提出的方法均可轻松并行化，并能高效实现在Apache Spark等分布式系统中，支持大规模实时指标分析。