[论文解读] Finding Needles in the Haystack: Harnessing Syslogs for Data Center Management

Chen Liang, Theophilus Benson+2 more|arXiv (Cornell University)|May 19, 2016

Software System Performance and Reliability参考文献 23被引用 5

一句话总结

该论文提出 Log-Prophet 系统，通过统计技术与协议特定的领域模型，从数据中心网络的非结构化 syslog 消息中自动构建因果问题图（PG），显著减少告警噪声，并实现对根本原因和级联故障的精确诊断。其主要贡献是一个可扩展的框架，可将数百万条 syslog 行转化为可管理的 13 种唯一 PG，揭示了跨网络各层的运维模式。

ABSTRACT

Network device syslogs are ubiquitous and abundant in modern data centers with most large data centers producing millions of messages per day. Yet, the operational information reflected in syslogs and their implications on diagnosis or management tasks are poorly understood. Prevalent approaches to understanding syslogs focus on simple correlation and abnormality detection and are often limited to detection providing little insight towards diagnosis and resolution. Towards improving data center operations, we propose and implement Log-Prophet, a system that applies a toolbox of statistical techniques and domain-specific models to mine detailed diagnoses. Log-Prophet infers causal relationships between syslog lines and constructs succinct but valuable problem graphs, summarizing root causes and their locality, including cascading problems. We validate Log-Prophet using problem tickets and through operator interviews. To demonstrate the strength of Log-Prophet, we perform an initial longitudinal study of a large online service provider's data center. Our study demonstrates that Log-Prophet significantly reduces the number of alerts while highlighting interesting operational issues.

研究动机与目标

• 解决尽管 syslog 数据量巨大且具有诊断潜力，但在数据中心运维中仍被严重低估的问题。
• 克服现有日志分析工具依赖源代码或简单相关性分析的局限，这些方法对封闭源代码的网络设备无效。
• 开发一个可扩展的、具备领域知识的系统，推断 syslog 消息之间的因果关系，以支持根本原因诊断与修复。
• 在大规模数据中心七个月的生产流量真实数据上验证该系统。

提出的方法

• Log-Prophet 应用统计技术检测非结构化 syslog 消息中的模式，利用协议特定模型（如 OSPF、路由）推断因果关系。
• 它构建问题图（PG），表示设备和网络层之间事件序列及其因果关系。
• 系统通过聚类与人工检查，将相似的 PG 归类为 22 种高层次类型，实现对重复故障模式的分类与抽象。
• 通过整合网络协议的领域知识，指导统计分析，提高准确性并减少误报。
• 该原型处理了来自超过 5,000 台设备的七个月 syslog 数据，将数百万条消息映射到 156 类中的 4,264 个 PG 实例。
• 在不同网络层（ToR、AGG、MB）评估 PG，分析故障分布、持续时间及跨层传播情况。

实验结果

研究问题

• RQ1 如何将非结构化的、厂商特定的 syslog 转化为数据中心网络中可操作的因果诊断？
• RQ2 当系统性地挖掘 syslog 消息之间的因果关系时，故障传播的模式是什么？
• RQ3 不同网络层（如 ToR、AGG、中间设备）的故障特征与普遍性有何差异？
• RQ4 少量代表性问题图（PG）在多大程度上能总结生产环境中海量的 syslog 数据？

主要发现

• Log-Prophet 将数亿条 syslog 行压缩为仅 13 种唯一的问题图（PG），显著实现数据压缩与噪声减少。
• 超过 93% 的所有 PG 发生在 ToR 层，反映出通用 ToR 设备的故障率高于核心层或汇聚层。
• 中间设备（MB）层主要由三类 PG 主导：虚拟 IP 迁移、路由问题与硬件故障，其中负载均衡器表现出独特的故障模式。
• PG 的数量与持续时间之间无直接相关性，表明原始日志量不能作为问题严重性或持续时间的可靠代理指标。
• 级联故障频繁出现，ToR 设备的接口故障常会传播至相邻 AGG 设备，影响 OSPF 路由协议。
• 该系统成功识别出跨厂商与固件版本的重复性高层次故障模式，通过人工检查与聚类实现跨厂商分类。