[论文解读] Case Studies of Causal Discovery from IT Monitoring Time Series

Ali Aït-Bachir, Karim ASSAAD+6 more|arXiv (Cornell University)|Jul 28, 2023

Data Quality and Management被引用 4

一句话总结

本文通过真实世界IT监控时间序列中的案例研究，应用因果发现算法，展示了其在根本原因分析和主动事件预测方面的潜力，尽管面临数据错位、缺失值和非平稳性等挑战。混合方法NBCB-e在所有数据集上取得了最高的F1得分（0.45），表明其具有前景，但受限于数据复杂性和算法假设，性能仍有限。

ABSTRACT

Information technology (IT) systems are vital for modern businesses, handling data storage, communication, and process automation. Monitoring these systems is crucial for their proper functioning and efficiency, as it allows collecting extensive observational time series data for analysis. The interest in causal discovery is growing in IT monitoring systems as knowing causal relations between different components of the IT system helps in reducing downtime, enhancing system performance and identifying root causes of anomalies and incidents. It also allows proactive prediction of future issues through historical data analysis. Despite its potential benefits, applying causal discovery algorithms on IT monitoring data poses challenges, due to the complexity of the data. For instance, IT monitoring data often contains misaligned time series, sleeping time series, timestamp errors and missing values. This paper presents case studies on applying causal discovery algorithms to different IT monitoring datasets, highlighting benefits and ongoing challenges.

研究动机与目标

• 评估因果发现算法在真实IT监控时间序列数据上的有效性。
• 识别在复杂真实世界IT监控数据中应用因果发现时的挑战，如时间序列错位、缺失值和非平稳性。
• 比较多种因果发现方法（包括基于约束、基于评分和混合方法）在多样化IT监控数据集上的性能。
• 评估数据预处理策略和算法假设（例如线性、无环性）对因果发现结果的影响。
• 通过识别当前方法在非线性关系、混合数据类型和隐性混杂因素方面的差距，为未来研究提供指导。

提出的方法

• 本研究将多种因果发现算法（包括PCMCI+、VLiNGAM、TiMINo、GCMVL以及混合方法如NBCB-e和CBNB-e）应用于真实IT监控数据集。
• 混合方法结合基于约束的方法（PCMCI+或PCGCE）与结构学习方法（VLiNGAM），以提升在复杂时间序列上的性能。
• 以完整时间因果图作为理论基础，但由于数据限制，实际推断依赖于窗口化或汇总因果图。
• 应用数据预处理策略，包括处理缺失值和对齐时间序列，以提高算法输入质量。
• 通过因果边检测的F1得分评估性能，并在不同数据集和预处理方法间进行比较。
• 分析假设（如平稳性、一致性、无环性）的影响，并评估其在真实IT数据中被违反的情况。

实验结果

研究问题

• RQ1 不同因果发现算法在具有复杂数据特征的真实IT监控时间序列上的表现如何？
• RQ2 数据预处理策略在多大程度上能提升IT监控数据上的因果发现性能？
• RQ3 当前因果发现算法为何在IT监控数据集上表现不佳，哪些假设最可能被违反？
• RQ4 在真实世界IT监控场景中，混合因果发现方法是否能优于独立方法？
• RQ5 数据特征（如非线性、混合变量类型和隐性混杂因素）在多大程度上限制了算法的有效性？

主要发现

• NBCB-e在Antivirus 2数据集上取得了0.45的最高F1得分，优于其他方法在大多数数据集上的表现。
• VLiNGAM和TiMINo在大多数数据集上表现较差，特别是在MoM 1和MoM 2上，表明其在处理真实世界IT监控数据方面存在局限性。
• 预处理策略2在Antivirus数据集上除GCMVL和TiMINo外，显著提升了所有算法的性能，表明数据质量对结果有显著影响。
• 表现最佳的算法NBCB-e的F1得分仍仅为中等水平，表明当前因果发现方法在真实IT监控数据上远未达到最优。
• 本研究识别出核心假设（如平稳性、线性、无环性）的违反是导致性能不佳的主要原因。
• 混合数据类型（连续型、有序型、名义型）和隐性混杂因素的存在进一步挑战现有方法，凸显了对更鲁棒、更灵活算法的迫切需求。