[论文解读] Detecting silent data corruptions in the wild

Harish Dattatraya Dixit, Laura Boyle+4 more|arXiv (Cornell University)|Mar 16, 2022

Software System Performance and Reliability被引用 16

一句话总结

本文提出了一种针对大规模数据中心基础设施中隐性数据损坏（SDCs）的双重检测策略：通过 Fleetscanner 实现非生产环境测试，以及通过 Ripple 实现生产环境测试。Ripple 在总覆盖率达到 77% 的同时，实现了 Fleetscanner 无法触及的 7% 独特检测能力，其在 15 天内检测到 70% 的常见缺陷，而 Fleetscanner 需要 5–6 个月才能完成，表明生产环境测试可在更低运行时成本下实现更快、更全面的 SDC 检测。

ABSTRACT

Silent Errors within hardware devices occur when an internal defect manifests in a part of the circuit which does not have check logic to detect the incorrect circuit operation. The results of such a defect can range from flipping a single bit in a single data value, up to causing the software to execute the wrong instructions. Silent data corruptions (SDC) in hardware impact computational integrity for large-scale applications. Manifestations of silent errors are accelerated by datapath variations, temperature variance, and age, among other silicon factors. These errors do not leave any record or trace in system logs. As a result, silent errors stay undetected within workloads, and their effects can propagate across several services, causing problems to appear in systems far removed from the original defect. In this paper, we describe testing strategies to detect silent data corruptions within a large scale infrastructure. Given the challenging nature of the problem, we experimented with different methods for detection and mitigation. We compare and contrast two such approaches - 1. Fleetscanner (out-of-production testing) and 2. Ripple (in-production testing).We evaluate the infrastructure tradeoffs associated with the silicon testing funnel across 3+ years of production experience.

研究动机与目标

• 为应对大规模数据中心基础设施中隐性数据损坏（SDCs）的挑战，此类问题可能持续数月未被发现，导致数据丢失和应用故障。
• 评估并比较非生产环境（Fleetscanner）与生产环境（Ripple）测试策略在大规模检测 SDC 时的有效性。
• 量化不同测试方法在真实生产环境中测试覆盖率、运行时成本与检测时间之间的权衡。
• 证明生产环境测试可实现传统非生产环境测试无法触及的独特、高影响力覆盖范围。

提出的方法

• Fleetscanner 通过在维护窗口期间对机器运行全面测试套件，实现非生产环境、侵入式测试，对检测到的 SDC 实现 93% 的覆盖率。
• Ripple 通过将测试指令注入活跃工作负载，实现非侵入式、持续运行的生产环境测试，每月可执行数十亿次测试实例。
• 两种框架协同使用：Fleetscanner 提供长期、广泛的覆盖，而 Ripple 通过动态指令转换和工作负载交互检测缺陷。
• 持续监控并更新测试覆盖率和运行时指标，以优化整个集群的测试向量、执行频率和配置。
• 评估基于 Meta 生产环境中三年以上的实际 SDC 缺陷家族观测数据。
• 覆盖率以两种框架的唯一检测与共同检测衡量，检测时间与总测试运行时间作为关键性能指标。

实验结果

研究问题

• RQ1 非生产环境测试（Fleetscanner）在大规模集群中检测隐性数据损坏的效率如何？
• RQ2 生产环境测试（Ripple）能检测到多少被非生产环境测试遗漏的 SDC？
• RQ3 不同测试策略在测试覆盖率、测试运行时间与检测时间之间的权衡如何？
• RQ4 生产环境测试能否实现传统非生产环境测试无法触及的独特覆盖？
• RQ5 Fleetscanner 与 Ripple 在真实生产环境中的联合检测率与覆盖率指标如何比较？

主要发现

• Ripple 实现了 77% 的可检测 SDC 总体覆盖率，其中 7% 为 Fleetscanner 无法触及的独特覆盖，证明了生产环境测试的价值。
• Ripple 在 15 天内检测到 Fleetscanner 所检测到的 70% 常见缺陷，而 Fleetscanner 需要 5–6 个月才能达到完整覆盖。
• Fleetscanner 在所研究缺陷族中实现了所有检测到的 SDC 的 93% 覆盖率，其中 23% 为 Ripple 未检测到的独特覆盖。
• Ripple 的总测试运行时间约为每月 10000 万集群秒，显著低于 Fleetscanner 长时间运行的非生产环境测试的计算成本。
• Fleetscanner 与 Ripple 的结合提供了全面的检测能力，Ripple 使关键缺陷的检测时间显著缩短。
• 本研究证实，新颖且可扩展的测试策略对于早期检测 SDC 并防止大规模系统中的级联故障至关重要。