[论文解读] BigRoots: An Effective Approach for Root-cause Analysis of Stragglers in Big Data System

Honggang Zhou, Yunchun Li+3 more|arXiv (Cornell University)|Jan 10, 2018

Cloud Computing and Resource Management参考文献 15被引用 6

一句话总结

BigRoots 提出了一种混合根因分析框架，用于大数据系统中慢任务的根因分析，通过结合框架级指标（如 shuffle I/O、GC 时间）与系统级资源利用率（CPU、I/O、网络），利用慢任务与正常任务之间的特征偏差分析识别根因，在故障注入和 HiBench 案例研究中验证了其高准确率与极低误报率。

ABSTRACT

Stragglers are commonly believed to have a great impact on the performance of big data system. However, the reason to cause straggler is complicated. Previous works mostly focus on straggler detection, schedule level optimization and coarse-grained cause analysis. These methods cannot provide valuable insights to help users optimize their programs. In this paper, we propose BigRoots, a general method incorporating both framework and system features for root-cause analysis of stragglers in big data system. BigRoots considers features from big data framework such as shuffle read/write bytes and JVM garbage collection time, as well as system resource utilization such as CPU, I/O and network, which is able to detect both internal and external root causes of stragglers. We verify BigRoots by injecting high resource utilization across different system components and perform case studies to analyze different workloads in Hibench. The experimental results demonstrate that BigRoots is effective to identify the root cause of stragglers and provide useful guidance for performance optimization.

研究动机与目标

• 解决现有方法在推测执行之外，对大数据系统中慢任务缺乏准确且可操作的根因分析问题。
• 克服以往方法依赖粗粒度相关性、在线监控或有限监控手段的局限性。
• 提供基于离线特征的根因诊断，结合丰富的上下文数据，以指导性能调优。
• 通过过滤不显著特征（如短时阻塞时间）并应用统计规则，提升识别准确率。
• 为开发人员和系统管理员提供可操作的洞察，以优化数据布局、调度策略与资源分配。

提出的方法

• 从大数据框架（如 shuffle 读写字节数、JVM GC 时间）和系统（CPU、I/O、网络利用率）中收集全面的特征数据。
• 比较同一阶段内慢任务与正常任务的特征值，检测显著偏差。
• 应用统计规则过滤掉影响微弱的特征（如阻塞时间 < 任务持续时间的 1%），以减少误报。
• 集成边缘检测技术，优化特征偏差阈值，提升对真实异常的敏感度。
• 通过故障注入模拟系统组件间的资源竞争（CPU、I/O、网络），验证根因检测能力。
• 在 HiBench 基准套件的多样化工作负载上开展案例研究，评估其在真实场景下的有效性。

实验结果

研究问题

• RQ1 基于框架与系统特征的混合方法能否准确识别大数据工作负载中慢任务的根因？
• RQ2 BigRoots 在区分真正根因与相关但无显著影响的系统指标方面效果如何？
• RQ3 在注入资源竞争（如 CPU、I/O、网络瓶颈）条件下，BigRoots 能在多大程度上检测到根因？
• RQ4 与现有方法 PCC 相比，BigRoots 在受控异常条件下识别根因的性能如何？
• RQ5 BigRoots 是否能为多样化大数据工作负载提供可操作的性能优化建议？

主要发现

• 在 100% 的注入资源竞争场景（CPU、I/O、网络）中，BigRoots 成功识别出慢任务的真实根因。
• 边缘检测的集成显著减少了非关键特征偏差带来的误报，有效过滤了无影响的偏差。
• 超过 60% 的慢任务归因于调度延迟、HDFS 磁盘读取、shuffle 读写以及 Java 垃圾回收——这些关键瓶颈经分析得到确认。
• HiBench 工作负载的案例研究表明，BigRoots 提供了可操作的洞察，如数据本地性问题或 I/O 瓶颈，支持针对性优化。
• 在注入异常条件下，BigRoots 的根因检测准确率优于 PCC，尤其在区分相关特征与因果特征方面表现更优。
• 通过 BigRoots 的离线分析可实现成本更低的重复作业优化，相较于推测执行（其消耗额外资源但无根因诊断）更具优势。