[論文レビュー] Finding Needle in a Million Metrics: Anomaly Detection in a Large-scale Computational Advertising Platform

Bowen Zhou, Shahriar Shariat|arXiv (Cornell University)|Feb 23, 2016

Anomaly Detection Techniques and Applications参考文献 8被引用数 7

ひとこと要約

本論文では、安定したキャンペーンからの自己相関性能指標を分析することで、大規模なコンピュータードム広告プラットフォームにおけるシステム問題を特定する、耐障害性の高い異常検出システムを提示する。類似したキャンペーンをクラスタリングし、代表的指標を計算し、移動ウィンドウ統計に基づく動的しきい値手法を適用することで、異常検出のF1スコアが95.4%に達し、精度（92.9%）と再現率（98.1%）が高く、生産環境で実際のインcidェントを最小限の誤検出で効果的に特定した。

ABSTRACT

Online media offers opportunities to marketers to deliver brand messages to a large audience. Advertising technology platforms enables the advertisers to find the proper group of audiences and deliver ad impressions to them in real time. The recent growth of the real time bidding has posed a significant challenge on monitoring such a complicated system. With so many components we need a reliable system that detects the possible changes in the system and alerts the engineering team. In this paper we describe the mechanism that we invented for recovering the representative metrics and detecting the change in their behavior. We show that this mechanism is able to detect the possible problems in time by describing some incident cases.

研究の動機と目的

• 従来の異常検出手法がノイズと変動性のため失敗する、大規模かつ多様性のあるリアルタイム入札プラットフォームにおける最終キャンペーンパフォーマンス指標の監視という課題に対処すること。
• 安定したキャンペーンに焦点を当て、その自己相関的行動を活用することで、誤検出を低減し、検出精度を向上させること。
• 一時的かつ持続的であるシステム問題を、深刻なビジネス的影響が生じる前に対処できる、リアルタイム監視システムを設計すること。
• クラスタリング、代表的指標計算、適応的しきい値設定を統合した、スケーラブルで生産環境対応のフレームワークを構築すること。

提案手法

• 相関性と統計的検定に基づいてキャンペーンをクラスタリングし、類似したパフォーマンス行動をグループ化する。
• 相関強度と安定性に基づく重み付き平均を用いて、各クラスタに代表的指標を選定する。
• 移動ウィンドウ内の異常頻度に基づき、正常範囲を縮小する動的しきい値メカニズムを用いる。しきい値は β = 3 × (N_normal / (N_normal + N_abnormal)) で定義される。
• 訓練データから計算された μ と σ を用いて、代表的時系列における標準的な異常検出（μ ± βσ 範囲）を適用する。
• ノイズを低減し信号の明確さを向上させるために、安定したキャンペーンからの週次変化指標を検出器の入力として使用する。
• F1スコア、精度、再現率を用いてシステムの正確性を評価し、誤検出は下限しきい値付近の境界ケースとして分析する。

実験結果

リサーチクエスチョン

• RQ1 大規模かつ変動性の高いリアルタイム広告プラットフォームにおける最終キャンペーンパフォーマンス指標に、異常検出を効果的に適用する方法は何か？
• RQ2 不安定または外れ値のキャンペーンによるノイズを低減することで、検出精度を向上させる技術は何か？
• RQ3 類似したキャンペーンのクラスタから、異常検出の耐障害性を高めるために代表的指標をどのように計算できるか？
• RQ4 変化する異常頻度に適応し、誤検出率を低く保てる動的しきい値戦略は何か？
• RQ5 安定したキャンペーンの行動に基づくシステムは、生産環境で実際のインシデントを高い精度と再現率で検出できるか、その程度はどの程度か？

主な発見

• 3か月間の生産環境での運用で、4件の実際のインシデントをすべて正常に検出。一時的および持続的問題の両方を含む。
• 異常検出システムは、精度92.9%、再現率98.1%を達成し、F1スコアは0.954に達した。
• 誤検出は主に下限しきい値をわずかに上回った境界ケースに起因しており、エッジケースの処理における耐障害性を示している。
• 見逃された異常は、インシデントの初期段階で発生しており、通常の変動と区別がつきにくかった。
• 安定したキャンペーンからの週次変化指標は、全キャンペーン指標よりもはるかに明確な信号を提供し、ノイズを低減し検出可能性を向上させた。
• システムは優れたリアルタイム性能を示し、深刻なビジネス的影響が生じる前に対処できる早期検出を可能にした。