[论文解读] Constructing Large-Scale Real-World Benchmark Datasets for AIOps

Zeyan Li, Nengwen Zhao+6 more|arXiv (Cornell University)|Aug 8, 2022

Software System Performance and Reliability被引用 9

一句话总结

本文介绍了三个大规模、真实世界场景的AIOps基准数据集，涵盖KPI异常检测、多维数据中的根本原因定位以及故障诊断，数据来源于主要企业生产系统。这些数据集被用于年度竞赛，吸引了数百名参与者，通过提供真实、大规模且公开可访问的数据及真实故障注入，实现了AIOps研究的标准化评估与持续发展。

ABSTRACT

Recently, AIOps (Artificial Intelligence for IT Operations) has been well studied in academia and industry to enable automated and effective software service management. Plenty of efforts have been dedicated to AIOps, including anomaly detection, root cause localization, incident management, etc. However, most existing works are evaluated on private datasets, so their generality and real performance cannot be guaranteed. The lack of public large-scale real-world datasets has prevented researchers and engineers from enhancing the development of AIOps. To tackle this dilemma, in this work, we introduce three public real-world, large-scale datasets about AIOps, mainly aiming at KPI anomaly detection, root cause localization on multi-dimensional data, and failure discovery and diagnosis. More importantly, we held three competitions in 2018/2019/2020 based on these datasets, attracting thousands of teams to participate. In the future, we will continue to publish more datasets and hold competitions to promote the development of AIOps further.

研究动机与目标

• 为解决AIOps研究中缺乏公开、大规模、真实世界数据集的问题，该问题限制了所提方法的公平比较与真实世界泛化能力。
• 提供涵盖多样化AIOps场景的全面基准数据集，包括KPI异常检测、多维根本原因定位以及故障诊断。
• 通过基于数据集组织年度AIOps算法竞赛，促进学术界与产业界团队的社区级研究与开发。
• 通过公开共享具有真实故障注入的生产级数据，实现AIOps技术的可复现与标准化评估。
• 通过持续发布新数据集并扩展竞赛范围以覆盖新兴AIOps挑战，支持AIOps的长期发展。

提出的方法

• 从腾讯、eBay、浙江移动等工业合作伙伴的生产系统中收集真实监控数据，包括追踪记录、KPI和指标。
• 在七类故障（如CPU压力、网络延迟、数据库端口关闭）中注入169次受控故障，创建具有已知根本原因的真实故障事件。
• 设计三个独立数据集：一个用于KPI异常检测，一个用于结合追踪记录与指标的多维根本原因定位，一个用于全面的故障发现与诊断。
• 遵循OpenTracing规范标准化数据格式，以确保在分布式组件间实现可追溯性与因果关系建模。
• 实施竞赛框架，包含在线故障检测与诊断任务，参赛团队提交的根因预测按诊断时间与F-0.5得分排序。
• 公开发布数据集与竞赛结果，包括表现最佳的解决方案，以促进AIOps研究的透明性与可复现性。

实验结果

研究问题

• RQ1 与私有或合成数据集相比，大规模真实世界数据集是否能提升AIOps模型的泛化能力与可靠性？
• RQ2 公开基准在多大程度上能够实现在异常检测与根本原因定位等多样化场景下AIOps算法的公平、标准化评估？
• RQ3 机器学习模型在实时、类生产环境中检测与诊断注入故障的效率如何？
• RQ4 公开竞赛与共享数据集对AIOps研究社区参与度与创新力有何影响？
• RQ5 多维数据（追踪记录、KPI、指标）能否被有效利用以提升复杂分布式系统中根本原因定位的准确性？

主要发现

• 三个数据集——涵盖KPI异常检测、多维根本原因定位与故障诊断——已被多篇研究工作采用，包括Cai等人（2021）、Yu等人（2021）与Li等人（2021）的研究。
• 2020年AIOps挑战赛吸引了141支队伍共517名参与者，显示出AIOps基准测试的强劲社区参与度。
• 表现最佳的团队在129次故障中取得755分的竞赛总分，有效根因预测的精确率≥0.5。
• 通过注入具有真实标签的故障，实现了对故障诊断系统可靠评估，克服了真实世界中已知原因故障数据稀缺的问题。
• 数据集与竞赛显著推动了AIOps研究的发展，提供了一个共享、标准化且真实的评估平台。
• 作者确认，这些数据集真实反映了生产系统，涵盖多样化的故障类型与多组件、多服务的现实监控数据。