[论文解读] Hierarchical Graph Neural Networks for Causal Discovery and Root Cause Localization

Dongjie Wang, Zhengzhang Chen+5 more|arXiv (Cornell University)|Feb 3, 2023

Advanced Graph Neural Networks被引用 6

一句话总结

本文提出了一种名为 REASON 的新框架，利用分层图神经网络发现互联系统网络中的层内与层间因果关系，实现精准的根因定位。通过结合基于随机游走的拓扑故障传播追踪与基于极值理论的个体异常检测，REASON 在真实世界数据集上的表现优于现有方法。

ABSTRACT

In this paper, we propose REASON, a novel framework that enables the automatic discovery of both intra-level (i.e., within-network) and inter-level (i.e., across-network) causal relationships for root cause localization. REASON consists of Topological Causal Discovery and Individual Causal Discovery. The Topological Causal Discovery component aims to model the fault propagation in order to trace back to the root causes. To achieve this, we propose novel hierarchical graph neural networks to construct interdependent causal networks by modeling both intra-level and inter-level non-linear causal relations. Based on the learned interdependent causal networks, we then leverage random walks with restarts to model the network propagation of a system fault. The Individual Causal Discovery component focuses on capturing abrupt change patterns of a single system entity. This component examines the temporal patterns of each entity's metric data (i.e., time series), and estimates its likelihood of being a root cause based on the Extreme Value theory. Combining the topological and individual causal scores, the top K system entities are identified as root causes. Extensive experiments on three real-world datasets with case studies demonstrate the effectiveness and superiority of the proposed framework.

研究动机与目标

• 解决现有根因分析（RCA）方法仅建模孤立因果网络、忽略多个系统网络之间相互依赖性的局限性。
• 开发一种通用的RCA框架，能够自动发现复杂系统中互连网络之间的因果结构。
• 通过建模层内（网络内部）与层间（跨网络）因果关系，提升根因定位的准确性。
• 将时间异常检测与拓扑故障传播追踪相结合，实现稳健的根因识别。
• 验证在真实世界系统故障场景中捕捉互联系统结构有效性的能力。

提出的方法

• REASON 使用分层图神经网络，对多个互连系统网络中的非线性层内与层间因果关系进行建模。
• 拓扑因果发现组件通过分层图神经网络中的消息传递机制，学习互联系统因果图，并利用带重启的随机游走模拟故障传播。
• 个体因果发现组件应用极值理论检测个体系统实体时间序列中的突变，估计其作为根因的可能性。
• 将拓扑与个体组件的因果得分进行融合，对系统实体进行排序，并识别出前 $K$ 个根因。
• 该框架在多变量时间序列监控数据上进行端到端训练，无需领域特定规则或网络结构的先验知识。
• 直接从系统指标中学习互联系统因果结构，实现跨网络故障传播路径的自动发现。

实验结果

研究问题

• RQ1 统一框架能否有效发现多个互联系统网络之间的因果关系，以实现根因定位？
• RQ2 与孤立网络方法相比，建模层间因果依赖关系在多大程度上提升了根因定位的准确性？
• RQ3 拓扑故障传播模式与个体异常信号在多大程度上共同增强了根因识别能力？
• RQ4 在具有不同网络拓扑结构与故障传播动态的多样化真实世界系统故障场景中，所提出方法的鲁棒性如何？
• RQ5 分层图神经网络能否有效捕捉复杂系统监控数据中的非线性、多层级因果依赖？

主要发现

• REASON 在三个真实世界数据集上显著优于最先进RCA方法，展现出更优的根因定位准确性。
• 消融实验表明，建模互联系统结构可显著提升根因检测性能。
• 将拓扑故障传播追踪与基于极值理论的个体异常检测相结合，增强了框架的鲁棒性与精度。
• 真实系统故障的案例研究显示，REASON 成功识别出真实根因，例如在级联故障场景中成功定位到 pod Django-search。
• 参数分析表明，带重启的随机游走组件在分层网络中实现有效故障传播回溯中起关键作用。
• 在 AIOps 数据集中学习到的互联系统因果图清晰展示了故障传播路径，红色虚线表示成功回溯的根因路径。