[논문 리뷰] Finding Needle in a Million Metrics: Anomaly Detection in a Large-scale Computational Advertising Platform

Bowen Zhou, Shahriar Shariat|arXiv (Cornell University)|2016. 02. 23.

Anomaly Detection Techniques and Applications참고 문헌 8인용 수 7

한 줄 요약

이 논문은 대규모 컴퓨팅 광고 플랫폼에서 안정적인 캠프aign의 자기상관성 있는 성능 지표를 분석함으로써 시스템 문제를 식별하는 강력한 이상 탐지 시스템을 제시한다. 유사한 캠프aign을 군집화하고, 대표 지표를 계산하며, 이동 윈도우 통계 기반의 동적 임계값 설정 방법을 적용함으로써, 이 시스템은 높은 정밀도(92.9%)와 재현율(98.1%)을 기록하여 이상 탐지에서 F1-스코어 95.4%를 달성했으며, 실제 생산 환경에서의 이상 사례를 최소한의 오진으로 성공적으로 경고한다.

ABSTRACT

Online media offers opportunities to marketers to deliver brand messages to a large audience. Advertising technology platforms enables the advertisers to find the proper group of audiences and deliver ad impressions to them in real time. The recent growth of the real time bidding has posed a significant challenge on monitoring such a complicated system. With so many components we need a reliable system that detects the possible changes in the system and alerts the engineering team. In this paper we describe the mechanism that we invented for recovering the representative metrics and detecting the change in their behavior. We show that this mechanism is able to detect the possible problems in time by describing some incident cases.

연구 동기 및 목표

• 기존 이상 탐지 기법이 노이즈와 변동성으로 인해 실패하는 대규모 이질적인 실시간 입찰 플랫폼에서 최종 캠프aign 성능 지표를 모니터링하는 데 도전하는 것.
• 안정적인 캠프aign에 집중하고 그들의 자기상관적 행동을 활용하여 오진을 줄이고 탐지 정확도를 향상시키는 것.
• 일시적 및 지속적인 시스템 문제를 사전에 탐지하여 심각한 비즈니스 영향을 방지할 수 있는 실시간 모니터링 시스템을 설계하는 것.
• 군집화, 대표 지표 계산, 적응형 임계값 설정을 통합한 확장 가능하고 생산 환경에 적합한 프레임워크를 개발하는 것.

제안 방법

• 유사한 성능 행동을 보이는 캠프aign을 상관계수 및 통계적 검정 기반으로 군집화하는 것.
• 상관계수 강도와 안정성에 기반한 가중 평균을 사용하여 각 군집에 대해 대표 지표를 선정하는 것.
• 이동 윈도우 내 이상 빈도에 따라 정상 범위를 수축시키는 동적 임계값 설정 메커니즘을 사용하며, 이는 β = 3 × (N_normal / (N_normal + N_abnormal))로 정의된다.
• 훈련 데이터로부터 계산된 μ 및 σ를 사용하여 대표 시간 시리즈에 표준 이상 탐지 기법을 적용하며, μ ± βσ 경계를 사용하는 것.
• 노이즈를 줄이고 신호의 명확성을 향상시키기 위해 안정적인 캠프aign의 주간 대비 변화 지표를 탐지기의 입력으로 사용하는 것.
• 시스템 정확도 평가를 위해 F1-스코어, 정밀도, 재현율을 사용하며, 오진은 하한 임계값 근처의 경계 사례로 분석한다.

실험 결과

연구 질문

• RQ1 노이즈와 변동성이 높은 대규모 실시간 광고 플랫폼에서 최종 캠프aign 성능 지표에 대해 이상 탐지 기법을 효과적으로 적용할 수 있는 방법은 무엇인가요?
• RQ2 불안정하거나 이방성 캠프aign의 노이즈를 줄임으로써 탐지 정확도를 향상시킬 수 있는 기법은 무엇인가요?
• RQ3 유사한 캠프aign 군집에서 대표 지표를 어떻게 계산하여 이상 탐지의 강건성을 향상시킬 수 있나요?
• RQ4 변동하는 이상 빈도에 적응하면서도 낮은 오진 비율을 유지할 수 있는 동적 임계값 설정 전략은 무엇인가요?
• RQ5 안정적인 캠프aign 행동 기반의 시스템은 실제 생산 환경에서 높은 정밀도와 재현율로 실제 이상 사례를 얼마나 잘 탐지할 수 있나요?

주요 결과

• 세 달간의 생산 환경 운영에서 시스템은 네 건의 실제 이상 사례를 모두 성공적으로 탐지했으며, 일시적 및 지속적인 문제 모두 포함되었다.
• 이상 탐지 시스템은 정밀도 92.9%와 재현율 98.1%를 기록하여 F1-스코어 0.954를 달성했다.
• 오진은 주로 하한 탐지 임계값을 略로 초과한 경계 사례에서 발생했으며, 이는 가장자리 케이스 처리에 대한 강건성을 시사한다.
• 누락된 이상은 사례의 초기 단계에서 발생했으며, 이는 정상적인 변동과 구분하기 어려운 행동이었기 때문이다.
• 안정적인 캠프aign의 주간 대비 변화 지표는 전체 캠프aign 지표보다 훨씬 명확한 신호를 제공하여 노이즈를 감소시키고 탐지 가능성을 향상시켰다.
• 시스템은 뛰어난 실시간 성능를 보이며 심각한 비즈니스 영향을 초래하기 전에 문제를 조기에 탐지할 수 있었다.