[论文解读] A Causal Approach to Detecting Multivariate Time-series Anomalies and Root Causes

Wenzhuo Yang, Kun Zhang+1 more|arXiv (Cornell University)|Jun 30, 2022

Anomaly Detection Techniques and Applications被引用 6

一句话总结

该论文提出了一种基于因果关系的多变量时间序列异常检测与根本原因分析框架，通过学习到的因果结构对数据进行建模。利用因果系统的模块化特性，该方法将问题分解为低维局部异常检测任务，实现了精确的异常检测与直接的根本原因识别，在模拟数据、公开数据集和真实世界AIOps数据集上均表现出色。

ABSTRACT

Detecting anomalies and the corresponding root causes in multivariate time series plays an important role in monitoring the behaviors of various real-world systems, e.g., IT system operations or manufacturing industry. Previous anomaly detection approaches model the joint distribution without considering the underlying mechanism of multivariate time series, making them computationally hungry and hard to identify root causes. In this paper, we formulate the anomaly detection problem from a causal perspective and view anomalies as instances that do not follow the regular causal mechanism to generate the multivariate data. We then propose a causality-based framework for detecting anomalies and root causes. It first learns the causal structure from data and then infers whether an instance is an anomaly relative to the local causal mechanism whose conditional distribution can be directly estimated from data. In light of the modularity property of causal systems (the causal processes to generate different variables are irrelevant modules), the original problem is divided into a series of separate, simpler, and low-dimensional anomaly detection problems so that where an anomaly happens (root causes) can be directly identified. We evaluate our approach with both simulated and public datasets as well as a case study on real-world AIOps applications, showing its efficacy, robustness, and practical feasibility.

研究动机与目标

• 解决现有多变量异常检测方法在建模联合分布时忽略潜在因果机制的局限性。
• 通过利用因果系统的模块化特性，实现异常检测的准确化，该特性允许将复杂问题分解为更简单的低维子问题。
• 通过分析局部因果机制中的偏差，提供一种自然且可解释的根本原因识别方式。
• 在合成数据和真实世界数据集（包括数据库监控的AIOps案例研究）上验证该方法的有效性。
• 证明该方法在不同因果发现技术与因果机制估计方法下的鲁棒性。

提出的方法

• 该方法将异常定义为违反常规因果机制的实例，将其视为对局部条件分布的偏离。
• 使用FGES、GES或PC等结构学习算法从数据中学习因果图，以表示时间序列变量之间的因果依赖关系。
• 基于因果图将联合分布分解为每个变量对应的模块化条件分布，从而实现对每个局部机制的独立异常检测。
• 通过使用CVAE、MLP或KMN等模型估计条件分布，计算每个变量在其局部因果机制下取值的似然度，从而获得异常得分。
• 根因得分由各变量的异常得分推导得出，得分越高表示越可能是根本原因。
• 该框架对不完美的因果图具有鲁棒性，不同结构学习方法下性能保持稳定。

实验结果

研究问题

• RQ1 与联合分布建模相比，因果框架是否能提升多变量时间序列异常检测的准确性和可解释性？
• RQ2 通过分析局部因果机制而非全局依赖关系，该方法在识别根本原因方面的有效性如何？
• RQ3 当使用不同的因果发现算法（如FGES与PC）或因果机制估计器（如CVAE与MLP）时，该框架是否仍保持鲁棒性？
• RQ4 该方法能否在复杂系统（如基于云的数据库服务）中检测到罕见的真实世界异常，并正确识别其根本原因？
• RQ5 因果系统的模块化特性在多大程度上实现了高维时间序列中可扩展且可解释的异常检测？

主要发现

• 当使用FGES进行因果发现、CVAE进行机制估计时，该方法在SWaT数据集上达到F1得分0.918 ± 0.008，在WADI数据集上达到F1得分0.818 ± 0.023。
• 即使在因果图准确性较低的情况下（如使用PC算法生成的图），该方法仍保持优异性能（WADI数据集上F1 = 0.768），表明其对结构不确定性的鲁棒性。
• CVAE在估计条件分布方面优于MLP和KMN，在两个数据集上均取得了最高的F1得分。
• 在涉及61个KPI指标的真实世界AIOps案例研究中，该方法成功检测出两次重大事件，并正确识别出应用层与I/O相关组件为根本原因，与专家验证结果一致。
• 该方法推断出的因果图与领域知识高度吻合，例如数据库日志处理流程中的链式关系：Redo → Lfpw → Lfs → COMT。
• 该框架成功将多变量异常检测问题分解为低维、模块化的任务，实现了直接且可解释的根本原因识别。