[논문 리뷰] Silent Data Corruptions at Scale

Harish Dattatraya Dixit, Sneha Pendharkar외 5명|arXiv (Cornell University)|2021. 02. 22.

Radiation Effects in Electronics참고 문헌 21인용 수 68

한 줄 요약

이 논문은 데이터센터 CPU에서의 silent data corruptions (SDCs)를 분석하고, 실제 사례 디버깅 케이스를 제시하며, 대규모에서의 탐지 및 완화 전략을 논의한다.

ABSTRACT

Silent Data Corruption (SDC) can have negative impact on large-scale infrastructure services. SDCs are not captured by error reporting mechanisms within a Central Processing Unit (CPU) and hence are not traceable at the hardware level. However, the data corruptions propagate across the stack and manifest as application-level problems. These types of errors can result in data loss and can require months of debug engineering time. In this paper, we describe common defect types observed in silicon manufacturing that leads to SDCs. We discuss a real-world example of silent data corruption within a datacenter application. We provide the debug flow followed to root-cause and triage faulty instructions within a CPU using a case study, as an illustration on how to debug this class of errors. We provide a high-level overview of the mitigations to reduce the risk of silent data corruptions within a large production fleet. In our large-scale infrastructure, we have run a vast library of silent error test scenarios across hundreds of thousands of machines in our fleet. This has resulted in hundreds of CPUs detected for these errors, showing that SDCs are a systemic issue across generations. We have monitored SDCs for a period longer than 18 months. Based on this experience, we determine that reducing silent data corruptions requires not only hardware resiliency and production detection mechanisms, but also robust fault-tolerant software architectures.

연구 동기 및 목표

• SDCs로 이어지는 실리콘 제조의 결함 유형을 식별한다.
• 실제 사례 연구를 사용하여 SDC가 애플리케이션 수준으로 어떻게 전파되는지 보여준다.
• fleet 전체에서 대규모로 SDC의 근본 원인 규명을 위한 디버깅 워크플로우와 도구를 설명한다.
• 생산 환경에서 SDC 위험을 감소시키기 위한 하드웨어 및 소프트웨어 전략을 개략한다.

제안 방법

• 실리콘 결함 범주를 분류한다: 디바이스 오류, 초기 수명 실패, 열화, 그리고 수명 말의 마모.
• SDC가 누락된 데이터 및 가능한 데이터 손실로 전이되는 실제 Spark 기반 애플리케이션을 분석한다.
• 루트 원인 분석을 위한 Scala에서 Java 바이트코드, 어셈블리까지 다중 언어 재현기 워크플로를 상세히 설명한다.
• 결정론적 재현기 구성 및 명령어 수준의 디버깅을 위한 모범 사례 가이드라인을 제안한다.

실험 결과

연구 질문

• RQ1 데이터센터 CPU에서 silent data corruptions에 기여하는 실리콘 및 제조 결함 범주는 무엇인가?
• RQ2 SDCs가 하드웨어에서 소프트웨어 스택을 거쳐 애플리케이션 수준의 실패를 일으키도록 어떻게 전파되는가?
• RQ3 대규모에서 SDC의 근본 원인 분석을 가능하게 하는 디버깅 워크플로우와 도구는 무엇인가?
• RQ4 큰 규모의 fleet에서 SDC를 완화할 수 있는 탐지 및 내결함 소프트웨어/하드웨어 전략은 무엇인가?

주요 결과

• SDCs in datacenter CPUs occur at higher rates than traditional soft-error FIT models and are repeatable at scale.
• A real-world case shows SDCs can cause missing or corrupted data in decompression and data processing workflows.
• Debugging at scale requires cross-language reproducers and assembly-level tracing to identify faulty instructions.
• Mitigations include hardware protections, targeted testing, detection mechanisms, and software fault-tolerant designs.