[논문 리뷰] Detecting silent data corruptions in the wild

Harish Dattatraya Dixit, Laura Boyle외 4명|arXiv (Cornell University)|2022. 03. 16.

Software System Performance and Reliability인용 수 16

한 줄 요약

이 논문은 대규모 데이터센터 인프라에서 은폐된 데이터 손상(SDC)을 탐지하기 위한 이중 전략을 제시한다: 생산 외 테스트를 통한 Fleetscanner와 생산 중 테스트를 통한 Ripple. Ripple는 7%의 고유 탐지 기능을 통해 총 77%의 커버리지를 달성했으며, Fleetscanner가 접근할 수 없는 영역을 보완한다. 이는 15일 내로 공통 결함의 70%를 탐지하는 데 성공했고, Fleetscanner는 5~6개월이 소요되었으며, 이는 생산 중 테스트가 더 빠르고 포괄적인 SDC 탐지가 가능하며 런타임 비용이 낮다는 것을 보여준다.

ABSTRACT

Silent Errors within hardware devices occur when an internal defect manifests in a part of the circuit which does not have check logic to detect the incorrect circuit operation. The results of such a defect can range from flipping a single bit in a single data value, up to causing the software to execute the wrong instructions. Silent data corruptions (SDC) in hardware impact computational integrity for large-scale applications. Manifestations of silent errors are accelerated by datapath variations, temperature variance, and age, among other silicon factors. These errors do not leave any record or trace in system logs. As a result, silent errors stay undetected within workloads, and their effects can propagate across several services, causing problems to appear in systems far removed from the original defect. In this paper, we describe testing strategies to detect silent data corruptions within a large scale infrastructure. Given the challenging nature of the problem, we experimented with different methods for detection and mitigation. We compare and contrast two such approaches - 1. Fleetscanner (out-of-production testing) and 2. Ripple (in-production testing).We evaluate the infrastructure tradeoffs associated with the silicon testing funnel across 3+ years of production experience.

연구 동기 및 목표

• 대규모 데이터센터 인프라에서 발생하는 은폐된 데이터 손상(SDC) 문제를 다루기 위해, 이는 수개월 동안 감지되지 않아 데이터 손실과 애플리케이션 장애를 유발할 수 있다.
• 생산 외(Fleetscanner)와 생산 중(Ripple) 테스트 전략의 효과성을 평가하고 비교하여 대규모 환경에서 SDC를 탐지하는 데에 활용한다.
• 실제 생산 환경에서 다양한 테스트 방법론에 대해 커버리지, 런타임 비용, 탐지까지의 시간 간격 간의 상호 상충 관계를 정량화한다.
• 생산 중 테스트가 전통적인 생산 외 테스트로는 접근할 수 없는 고유한 커버리지를 달성할 수 있음을 입증한다.

제안 방법

• Fleetscanner는 유지보수 창구 동안 기계에서 종합 테스트 세트를 실행함으로써 생산 외, 침습적인 테스트를 수행하며, 감지된 SDC의 93% 커버리지를 달성한다.
• Ripple는 활성 워크로드에 테스트 명령어를 주입함으로써 항상 케이스인 비침습적 생산 중 테스트를 수행하며, 월간 수십억 개의 테스트 인스턴스를 제공한다.
• 두 프레임워크는 함께 사용되며, Fleetscanner는 장기간에 걸쳐 광범위한 커버리지를 제공하고, Ripple은 동적 명령어 전환과 워크로드 상호작용을 통해 결함을 탐지한다.
• 테스트 커버리지 및 런타임 메트릭은 지속적으로 모니터링되고 업데이트되어 팀 전체의 테스트 벡터, 주기 및 구성 설정을 개선한다.
• 평가에서는 메타의 실제 생산 환경에서 3년 이상 관찰된 실재 SDC 결함 유형을 사용한다.
• 커버리지는 두 프레임워크 간의 고유 탐지 및 공통 탐지로 측정되며, 탐지까지의 시간과 총 테스트 런타임이 주요 성능 지표로 사용된다.

실험 결과

연구 질문

• RQ1 생산 외 테스트(Fleetscanner)는 대규모 플릿에서 은폐된 데이터 손상을 얼마나 효과적으로 탐지하는가?
• RQ2 생산 중 테스트(Ripple)는 생산 외 테스트가 놓친 SDC를 어느 정도 탐지할 수 있는가?
• RQ3 다양한 테스트 전략에서 커버리지, 테스트 런타임, 탐지까지의 시간 간격 간의 상충 관계는 어떠한가?
• RQ4 생산 중 테스트는 전통적인 생산 외 테스트로는 접근할 수 없는 고유한 커버리지를 달성할 수 있는가?
• RQ5 실제 생산 환경에서 Fleetscanner와 Ripple의 결합 탐지율과 커버리지 메트릭은 어떻게 비교되는가?

주요 결과

• Ripple는 감지 가능한 SDC의 총 77% 커버리지를 달성했으며, Fleetscanner가 접근할 수 없는 7%의 고유 커버리지를 확보하여 생산 중 테스트의 가치를 입증했다.
• Ripple는 Fleetscanner가 감지한 공통 SDC의 70%를 15일 내로 탐지했고, Fleetscanner는 전체 커버리지에 도달하는 데 5~6개월이 소요되었다.
• Fleetscanner는 연구된 결함 유형에서 모든 감지된 SDC의 93% 커버리지를 달성했으며, Ripple이 탐지하지 못한 23%의 고유 커버리지를 확보했다.
• Ripple의 총 테스트 런타임은 월 약 1억 플릿 초로, Fleetscanner의 장기적인 생산 외 테스트의 컴퓨팅 비용보다 크게 낮았다.
• Fleetscanner와 Ripple의 조합은 포괄적인 탐지를 제공하며, Ripple은 중요한 결함에 대해 더 빠른 탐지 시간을 가능하게 한다.
• 이 연구는 은폐된 데이터 손상을 조기에 탐지하고 대규모 시스템에서 연쇄 장애를 방지하기 위해 새로운 확장 가능한 테스트 전략이 필수적임을 확인한다.