[论文解读] MicroHECL: High-Efficient Root Cause Localization in Large-Scale Microservice Systems

Dewei Liu, Chuan He+7 more|arXiv (Cornell University)|Mar 1, 2021

Software System Performance and Reliability参考文献 17被引用 11

一句话总结

MicroHECL 是一种针对大规模微服务系统的高效根因定位系统，通过动态构建服务调用图，利用定制化的机器学习与统计模型检测性能、可靠性和流量异常，并应用剪枝策略加速传播链分析。在阿里巴巴的生产环境中，其将根因定位时间从30分钟缩短至5分钟，Top-3命中率达到68%。

ABSTRACT

Availability issues of industrial microservice systems (e.g., drop of successfully placed orders and processed transactions) directly affect the running of the business. These issues are usually caused by various types of service anomalies which propagate along service dependencies. Accurate and high-efficient root cause localization is thus a critical challenge for large-scale industrial microservice systems. Existing approaches use service dependency graph based analysis techniques to automatically locate root causes. However, these approaches are limited due to their inaccurate detection of service anomalies and inefficient traversing of service dependency graph. In this paper, we propose a high-efficient root cause localization approach for availability issues of microservice systems, called MicroHECL. Based on a dynamically constructed service call graph, MicroHECL analyzes possible anomaly propagation chains, and ranks candidate root causes based on correlation analysis. We combine machine learning and statistical methods and design customized models for the detection of different types of service anomalies (i.e., performance, reliability, traffic). To improve the efficiency, we adopt a pruning strategy to eliminate irrelevant service calls in anomaly propagation chain analysis. Experimental studies show that MicroHECL significantly outperforms two state-of-the-art baseline approaches in terms of both accuracy and efficiency. MicroHECL has been used in Alibaba and achieves a top-3 hit ratio of 68% with root cause localization time reduced from 30 minutes to 5 minutes.

研究动机与目标

• 为解决大规模工业级微服务系统在出现可用性问题时根因定位缓慢且不准确的挑战。
• 提升复杂服务依赖图中异常传播链分析的效率。
• 通过分别建模性能、可靠性和流量异常等不同类型的服务异常，提升异常检测的准确性。
• 通过针对无关服务调用的剪枝策略，减少误报和不必要的计算，优化根因排序。
• 为类似阿里巴巴电商平台的生产环境提供可扩展、可部署的实时根因定位解决方案。

提出的方法

• 动态构建反映近期时间窗口内实时服务依赖关系与质量指标（如响应时间）的服务调用图。
• 采用三种定制化模型——基于机器学习与统计方法——分别用于检测性能、可靠性和流量异常。
• 从初始异常服务出发遍历服务调用图，识别沿异常服务调用路径的可能异常传播链。
• 应用剪枝策略，移除与当前异常传播路径在统计上无关的服务调用边，提升计算效率。
• 通过候选服务的质量指标与初始异常服务的业务级指标之间的相关性分析，对候选根因进行排序。
• 结合历史与实时指标及因果关系，推断根因，无需完整追踪数据收集。

实验结果

研究问题

• RQ1 如何在拥有数千个服务的大规模微服务系统中提升根因定位的效率？
• RQ2 区分不同类型异常（性能、可靠性、流量）对检测准确率有何影响？
• RQ3 基于统计相关性的剪枝策略是否能显著缩小搜索空间而不损失准确性？
• RQ4 与仅依赖相关性的方法相比，机器学习与统计模型的集成如何提升异常检测性能？
• RQ5 在真实生产环境中，基于图的传播分析结合动态服务调用图，与现有最先进方法相比，其性能优势有多大？

主要发现

• MicroHECL 将阿里巴巴生产环境中的根因定位时间从平均30分钟缩短至5分钟。
• 其 Top-3 命中率达到68%，显著优于最先进的基线方法 MonitorRank 和 Microscope。
• 剪枝策略在不降低准确率的前提下提升了效率，使大规模复杂依赖图中的分析更加迅速。
• 针对性能、可靠性和流量异常的定制化异常检测模型，相比通用的相关性方法，能更准确地识别根因。
• 该系统已在阿里巴巴成功部署超过5个月，处理了600多起可用性事件，开发者对其推荐结果高度信任。
• 实验评估表明，MicroHECL 在多个指标上均优于 MonitorRank 和 Microscope，兼具更高的准确率与效率。