[논문 리뷰] Anomaly Detection on IT Operation Series via Online Matrix Profile

Shi-Ying Lan, Run-Qing Chen외 1명|arXiv (Cornell University)|2021. 08. 27.

Anomaly Detection Techniques and Applications참고 문헌 29인용 수 6

한 줄 요약

이 논문은 거리의 중요도와 스펙트럴 잔여치를 활용하여 실시간으로 이상 탐지가 가능한 학습이 필요 없는 IT 운영 시간열에 대한 이상 탐지 방법인 온라인 매트릭스 프로파일(OMP)을 제안한다. OMP는 최소한의 계산 비용으로 최신 기술 수준의 정확도를 달성하며, 여러 KPI 데이터셋에서 딥러닝 기반 모델보다 속도와 확장성 면에서 뛰어나다.

ABSTRACT

Anomaly detection on time series is a fundamental task in monitoring the Key Performance Indicators (KPIs) of IT systems. Many of the existing approaches in the literature show good performance while requiring a lot of training resources. In this paper, the online matrix profile, which requires no training, is proposed to address this issue. The anomalies are detected by referring to the past subsequence that is the closest to the current one. The distance significance is introduced based on the online matrix profile, which demonstrates a prominent pattern when an anomaly occurs. Another training-free approach spectral residual is integrated into our approach to further enhance the detection accuracy. Moreover, the proposed approach is sped up by at least four times for long time series by the introduced cache strategy. In comparison to the existing approaches, the online matrix profile makes a good trade-off between accuracy and efficiency. More importantly, it is generic to various types of time series in the sense that it works without the constraint from any trained model.

연구 동기 및 목표

• 대규모 IT 운영 환경에서 학습 기반 이상 탐지 모델의 높은 계산 비용과 유지보수 비용 문제를 해결하기 위해.
• 라벨이 없는 데이터나 모델 재학습 없이도 수백 개의 KPI 시간열에서 실시간으로 확장 가능한 이상 탐지 기능을 제공하기 위해.
• 매트릭스 프로파일에 거리의 중요도를 도입하여 주기적이지 않거나 진폭이 변동되며 추세가 이동하는 시간열에서의 탐지 정확도를 향상시키기 위해.
• 기존에 계산된 매트릭스 프로파일 값을 재사용하는 효율적인 캐시 전략을 통해 장시간 시계열에 대한 추론 시간을 단축시키면서도 탐지 성능을 유지하기 위해.

제안 방법

• 최근의 서브시계열만 유지함으로써 매트릭스 프로파일을 온라인 환경에 적합하게 조정하여 실시간 처리와 추세 이격에 대한 강건성을 확보한다.
• 이웃 요소들과 현저히 다른 이상 현상 탐지를 위해 거리의 중요도를 핵심 메트릭으로 도입함으로써 진폭 변화에 영향을 받지 않는 탐지 기능을 구현한다.
• 거리의 중요도로 인해 탐지되지 않는 이상 현상, 특히 점진적 또는 반복적인 이상 패턴을 탐지하기 위해 스펙트럴 잔여치(SR)를 보완 방법으로 통합한다.
• 이전에 계산된 매트릭스 프로파일 값을 재사용하는 캐시 전략을 적용하여 계산을 가속화하고, 장시간 시계열에 대해 최소 4배 이상의 시간 복잡도 감소를 달성한다.
• 학습이 필요 없는 하이브리드 프레임워크를 통해 온라인 매트릭스 프로파일과 스펙트럴 잔여치를 통합하여 탐지 정확도를 향상시킨다.
• 거리 계산에 가장 최근의 서브시계열 윈도우만 사용함으로써 재학습 없이도 KPI의 개념 이격에 적응 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 라벨이 없는 데이터나 모델 재학습 없이도 다양한 IT 운영 시간열에서 경쟁 가능한 이상 탐지 정확도를 달성할 수 있는 학습이 필요 없는 접근 방식은 가능한가?
• RQ2 원래의 매트릭스 프로파일에 비해 거리의 중요도는 진폭 변화에 대한 탐지 강건성에 어떻게 기여하는가?
• RQ3 온라인 매트릭스 프로파일이 이상을 탐지하지 못하는 경우, 스펙트럴 잔여치의 통합이 탐지 성능 향상에 얼마나 기여하는가?
• RQ4 제안된 캐시 전략은 장시간 시계열에서 정확도를 유지하면서 탐지 속도를 얼마나 효과적으로 향상시키는가?
• RQ5 실제 모니터링 환경에서 최신 기술 수준의 학습 기반 모델인 VAE, PAD, SR-CNN와 비교했을 때 온라인 매트릭스 프로파일은 효율성과 정확도 면에서 어떻게 비교되는가?

주요 결과

• OMP는 PAD 및 SR-CNN 등의 딥러닝 모델을 포함한 모든 비교 모델들 중에서 Yahoo 데이터셋에서 최고의 F1 점수를 기록했다.
• OMP는 온라인-VAE와 온라인-PAD보다 Yahoo 데이터셋에서 뛰어난 성능을 보였으며, 이는 이러한 모델들이 누적 학습 오버헤드로 인해 심각한 성능 저하를 겪기 때문이다.
• PAD의 학습 비용은 매우 높았으며(14,535.43초), 반면 OMP는 학습이 필요 없고 데이터셋당 추론 시간이 10초 이내로 완료되었다.
• 캐시 전략은 장시간 시계열에 대해 OMP의 처리 속도를 최소 4배 이상 향상시켰으며, 성능 손실가능성을 최소화하면서 계산 비용을 크게 감소시켰다.
• OMP는 주기적, 비주기적 시간열 모두에서 이상을 성공적으로 탐지했으며, 기존 매트릭스 프로파일이 어려움을 겪는 점진적 또는 반복적인 이상 현상까지도 탐지할 수 있었다.
• 스펙트럴 잔여치는 거리의 중요도로 탐지되지 않는 이상 현상을 보완하여, 그림 6(c)의 세 번째 이상 현상처럼 거리의 중요도가 낮지만 여전히 이상적인 경우를 탐지하는 데 기여했다.