[論文レビュー] Detecting silent data corruptions in the wild

Harish Dattatraya Dixit, Laura Boyle+4 more|arXiv (Cornell University)|Mar 16, 2022

Software System Performance and Reliability被引用数 16

ひとこと要約

本論文は、大規模なデータセンターアーキテクチャにおけるサイレントデータ破損（SDC）を検出するための二重戦略を提示する：生産外でのテストであるFleetscannerと、生産内でのテストであるRipple。Rippleは77%の総合カバレッジを達成し、Fleetscannerが到達できない7%のユニークな検出を実現。Fleetscannerが5〜6か月を要するのに対し、Rippleは15日間で共通の欠陥の70%を検出。これは、生産内テストがより高速かつ包括的であり、実行コストも低いという点で、サイレントデータ破損の検出に優れていることを示している。

ABSTRACT

Silent Errors within hardware devices occur when an internal defect manifests in a part of the circuit which does not have check logic to detect the incorrect circuit operation. The results of such a defect can range from flipping a single bit in a single data value, up to causing the software to execute the wrong instructions. Silent data corruptions (SDC) in hardware impact computational integrity for large-scale applications. Manifestations of silent errors are accelerated by datapath variations, temperature variance, and age, among other silicon factors. These errors do not leave any record or trace in system logs. As a result, silent errors stay undetected within workloads, and their effects can propagate across several services, causing problems to appear in systems far removed from the original defect. In this paper, we describe testing strategies to detect silent data corruptions within a large scale infrastructure. Given the challenging nature of the problem, we experimented with different methods for detection and mitigation. We compare and contrast two such approaches - 1. Fleetscanner (out-of-production testing) and 2. Ripple (in-production testing).We evaluate the infrastructure tradeoffs associated with the silicon testing funnel across 3+ years of production experience.

研究の動機と目的

• 大規模なデータセンターアーキテクチャにおけるサイレントデータ破損（SDC）の課題に対処すること。SDCは数か月にわたり検出されないままであり、データ損失やアプリケーション障害を引き起こす可能性がある。
• 生産外（Fleetscanner）と生産内（Ripple）のテスト戦略の有効性を評価・比較し、スケール上でSDCを検出する能力を検証すること。
• 実際の生産環境において、さまざまなテスト手法におけるカバレッジ、実行コスト、検出までの時間のトレードオフを定量化すること。
• 生産内テストが、従来の生産外テストでは到達できない、ユニークで高影響力のカバレッジを達成できることを示すこと。

提案手法

• Fleetscannerは、メンテナンスウィンドウ中にマシンで包括的なテストスイートを実行することで、生産外で侵入的なテストを実施し、検出されたSDCの93%のカバレッジを達成している。
• Rippleは、アクティブなワークロードにテスト命令を挿入することで、非侵襲的かつ常時稼働する生産内テストを実施し、1か月に数十億回のテストインスタンスを実行可能である。
• 2つのフレームワークは併用される：Fleetscannerは長期間にわたる広範なカバレッジを提供するが、Rippleは動的命令遷移とワークロード相互作用を通じて欠陥を検出する。
• テストカバレッジと実行時間のメトリクスは継続的に監視・更新され、ファーム全体におけるテストベクトル、スケジューリング、設定の最適化が行われる。
• 評価には、Metaの生産環境で3年以上にわたり観察された実際のSDC欠陥ファミリーが使用されている。
• カバレッジは両フレームワークにおけるユニークな検出と共通検出を測定し、検出までの時間と総合テスト実行時間を主なパフォーマンス指標として用いている。

実験結果

リサーチクエスチョン

• RQ1 生産外テスト（Fleetscanner）は、大規模なファーム上でサイレントデータ破損（SDC）をどの程度効果的に検出できるか？
• RQ2 生産内テスト（Ripple）は、生産外テストが見逃すSDCをどの程度検出できるか？
• RQ3 さまざまなテスト戦略におけるカバレッジ、テスト実行時間、検出までの時間のトレードオフは何か？
• RQ4 生産内テストは、従来の生産外テストでは到達できないユニークなカバレッジを達成できるか？
• RQ5 実際の生産環境において、FleetscannerとRippleの組み合わせによる検出率とカバレッジメトリクスはどのように比較できるか？

主な発見

• Rippleは検出可能なSDCの77%の総合カバレッジを達成し、Fleetscannerが到達できない7%のユニークなカバレッジを実現。これは生産内テストの価値を示している。
• Rippleは、Fleetscannerが検出する共通のSDCの70%を15日間で検出。Fleetscannerは同様のカバレッジに到達するまでに5〜6か月を要する。
• Fleetscannerは、調査された欠陥ファミリー全体のSDCの93%をカバーしており、そのうち23%はRippleが検出できなかった。
• Rippleの総合テスト実行時間は月間約1億フィールド秒であり、Fleetscannerの長期にわたる生産外テストの計算コストに比べて顕著に低い。
• FleetscannerとRippleの組み合わせにより包括的な検出が可能となり、Rippleは深刻な欠陥の検出までの時間を短縮している。
• 本研究は、サイレントデータ破損を早期に検出し、大規模システムにおける連鎖的障害を防ぐために、革新的でスケーラブルなテスト戦略が不可欠であることを確認した。