[论文解读] Finding Needle in a Million Metrics: Anomaly Detection in a Large-scale Computational Advertising Platform

Bowen Zhou, Shahriar Shariat|arXiv (Cornell University)|Feb 23, 2016

Anomaly Detection Techniques and Applications参考文献 8被引用 7

一句话总结

本文提出了一种用于大规模计算广告平台的鲁棒异常检测系统，通过分析稳定广告活动的自相关性能指标来识别系统问题。通过聚类相似活动、计算代表性指标，并应用基于移动窗口统计的动态阈值方法，该系统在检测异常时实现了95.4%的F1分数，精确率（92.9%）和召回率（98.1%）均较高，成功在生产环境中标记出真实事件，且误报极少。

ABSTRACT

Online media offers opportunities to marketers to deliver brand messages to a large audience. Advertising technology platforms enables the advertisers to find the proper group of audiences and deliver ad impressions to them in real time. The recent growth of the real time bidding has posed a significant challenge on monitoring such a complicated system. With so many components we need a reliable system that detects the possible changes in the system and alerts the engineering team. In this paper we describe the mechanism that we invented for recovering the representative metrics and detecting the change in their behavior. We show that this mechanism is able to detect the possible problems in time by describing some incident cases.

研究动机与目标

• 解决在大规模异构实时竞价平台中监控最终广告活动性能指标的挑战，传统异常检测方法因噪声和可变性而失效。
• 通过聚焦于稳定活动并利用其自相关行为，减少误报并提高检测准确性。
• 设计一个实时监控系统，在严重业务影响发生前检测到瞬时和持续的系统问题。
• 开发一个可扩展、可投入生产的框架，集成聚类、代表性指标计算和自适应阈值设定，用于异常检测。

提出的方法

• 基于相关性和统计检验对活动进行聚类，以分组相似的性能行为。
• 使用基于相关性强度和稳定性的加权平均法，为每个聚类选择一个代表性指标。
• 采用动态阈值机制，根据移动窗口内异常频率缩小正常范围，定义为 β = 3 × (N_normal / (N_normal + N_abnormal))。
• 在代表性时间序列上应用标准异常检测方法，使用 μ ± βσ 边界，其中 μ 和 σ 由训练数据计算得出。
• 使用稳定活动的周环比变化指标作为检测器的输入，以减少噪声并提高信号清晰度。
• 采用F1分数、精确率和召回率评估系统准确性，将误报分析为接近下限边界的临界情况。

实验结果

研究问题

• RQ1 在高可变性的大规模实时广告平台中，如何有效应用异常检测于最终广告活动性能指标？
• RQ2 哪些技术可减少不稳定或异常值活动带来的噪声，从而提高检测准确性？
• RQ3 如何从具有相似行为的活动聚类中计算代表性指标，以增强异常检测的鲁棒性？
• RQ4 何种动态阈值策略可适应异常频率的变化并保持低误报率？
• RQ5 基于稳定活动行为的系统在生产环境中能以多大程度实现高精确率和高召回率地检测真实事件？

主要发现

• 在为期三个月的生产运行中，该系统成功检测出全部四个真实事件，包括瞬时和持续性问题。
• 异常检测系统实现了92.9%的精确率和98.1%的召回率，F1分数达到0.954。
• 误报主要为略超过下限检测阈值的临界情况，表明在边缘情况处理上具有鲁棒性。
• 漏检的异常出现在事件刚开始时，此时行为难以与正常波动区分开来。
• 来自稳定活动的周环比变化指标相比全活动指标提供了更清晰的信号，减少了噪声并提升了可检测性。
• 该系统表现出强大的实时性能，能够在严重业务影响发生前实现问题的早期检测。