[논문 리뷰] A Causal Approach to Detecting Multivariate Time-series Anomalies and Root Causes

Wenzhuo Yang, Kun Zhang외 1명|arXiv (Cornell University)|2022. 06. 30.

Anomaly Detection Techniques and Applications인용 수 6

한 줄 요약

이 논문은 학습된 인과 구조를 통해 데이터를 모델링함으로써 다변량 시계열 이상 탐지 및 원인 분석을 위한 인과 기반 프레임워크를 제안한다. 인과 시스템의 모ularity를 활용하여 문제를 저차원의 국소 이상 탐지 작업으로 분해함으로써 정확한 이상 탐지와 직접적인 원인 규명을 가능하게 하며, 시뮬레이션된 데이터, 공개 데이터, 실세계 AIOps 데이터셋에서 뛰어난 성능을 보인다.

ABSTRACT

Detecting anomalies and the corresponding root causes in multivariate time series plays an important role in monitoring the behaviors of various real-world systems, e.g., IT system operations or manufacturing industry. Previous anomaly detection approaches model the joint distribution without considering the underlying mechanism of multivariate time series, making them computationally hungry and hard to identify root causes. In this paper, we formulate the anomaly detection problem from a causal perspective and view anomalies as instances that do not follow the regular causal mechanism to generate the multivariate data. We then propose a causality-based framework for detecting anomalies and root causes. It first learns the causal structure from data and then infers whether an instance is an anomaly relative to the local causal mechanism whose conditional distribution can be directly estimated from data. In light of the modularity property of causal systems (the causal processes to generate different variables are irrelevant modules), the original problem is divided into a series of separate, simpler, and low-dimensional anomaly detection problems so that where an anomaly happens (root causes) can be directly identified. We evaluate our approach with both simulated and public datasets as well as a case study on real-world AIOps applications, showing its efficacy, robustness, and practical feasibility.

연구 동기 및 목표

• 기존의 다변량 이상 탐지 방법이 인과 메커니즘을 고려하지 않고 공동 분포를 모델링하는 데서 비롯되는 한계를 해결하기 위해.
• 인과 시스템의 모ularity 성질을 활용하여 간단한 저차원 문제로 분해할 수 있도록 함으로써 정확한 이상 탐지 가능하게 하기 위해.
• 국소 인과 메커니즘의 이탈을 분석함으로써 자연스럽고 해석 가능한 방식으로 원인을 규명하기 위해.
• 시뮬레이션된 데이터와 실세계 데이터셋(데이터베이스 모니터링을 위한 AIOps 사례 연구 포함)에서 방법의 유효성 검증을 위해.
• 다양한 인과 발견 기법과 인과 메커니즘 추정 방법에 대해 프레임워크의 강건성을 입증하기 위해.

제안 방법

• 이상 현상은 정규적인 인과 메커니즘을 위반하는 경우로 간주하며, 이를 국소 조건부 분포에서의 이탈로 간주한다.
• FGES, GES, 또는 PC와 같은 구조 학습 알고리즘을 사용하여 데이터로부터 인과 그래프를 학습함으로써 시계열 변수 간의 인과적 의존성을 표현한다.
• 인과 그래프에 기반하여 공동 분포를 각 변수별 모듈러 조건부 분포로 인수분해함으로써, 각 국소 메커니즘에 대해 별도의 이상 탐지가 가능하게 한다.
• CVAE, MLP, 또는 KMN과 같은 모델을 사용하여 조건부 분포 추정을 수행하고, 각 변수의 값이 그 국소 인과 메커니즘 하에서의 가능도를 이상 점수로 계산한다.
• 변수의 이상 점수를 기반으로 원인 점수를 도출하며, 높은 점수를 가진 변수일수록 원인일 가능성이 높다는 의미이다.
• 다양한 구조 학습 방법을 사용했을 때도 안정적인 성능을 보임으로써, 완벽하지 않은 인과 그래프에 대해서도 강건함을 입증하였다.

실험 결과

연구 질문

• RQ1 공동 분포 모델링 방식과 비교했을 때, 인과 기반 프레임워크는 다변량 시계열 이상 탐지의 정확성과 해석 가능성에 어떤 기여를 하는가?
• RQ2 전체 의존성 대신 국소 인과 메커니즘을 분석함으로써 제안된 방법이 원인 규명에 얼마나 효과적으로 작용하는가?
• RQ3 예를 들어 FGES 대비 PC 또는 CVAE 대비 MLP를 사용할 경우, 다양한 인과 발견 알고리즘 또는 인과 메커니즘 추정 방법을 사용해도 프레임워크가 강건한가?
• RQ4 클라우드 기반 데이터베이스 서비스와 같은 복잡한 시스템에서 희귀한 실세계 이상을 탐지하고 그 원인을 정확히 규명할 수 있는가?
• RQ5 인과 시스템의 모ularity는 고차원 시계열에서 확장 가능하고 해석 가능한 이상 탐지에 얼마나 기여하는가?

주요 결과

• FGES를 사용한 인과 발견과 CVAE를 사용한 메커니즘 추정 조건에서, SWaT 데이터셋에서는 F1 점수 0.918 ± 0.008, WADI 데이터셋에서는 F1 점수 0.818 ± 0.023를 기록하였다.
• PC 알고리즘으로부터 유도된 덜 정확한 인과 그래프를 사용하더라도, 메서드는 강력한 성능(예: WADI에서 F1 = 0.768)을 유지하여 구조적 불확실성에 강건함을 입증하였다.
• CVAE는 조건부 분포 추정에서 MLP 및 KMN을 능가하여 두 데이터셋에서 가장 높은 F1 점수를 기록하였다.
• 실세계 AIOps 사례 연구에서 61개의 KPI 지표를 대상으로 한 결과, 두 건의 주요 장애를 정확히 탐지하였고, 전문가 검증과 일치하는 바, 응용 프로그램 및 I/O 관련 컴포넌트를 원인으로 정확히 규명하였다.
• 제안된 방법이 유도한 인과 그래프는 도메인 지식과 잘 일치하였으며, 예를 들어 데이터베이스 로깅 프로세스에서 Redo → Lfpw → Lfs → COMT의 체인 구조를 잘 반영하였다.
• 프레임워크는 다변량 이상 탐지 문제를 저차원의 모듈러 작업으로 성공적으로 분해하여 직접적이고 해석 가능한 원인 규명을 가능케 하였다.