[논문 리뷰] Understanding Fault Scenarios and Impacts through Fault Injection Experiments in Cielo

Valerio Formicola, Saurabh Jha외 14명|arXiv (Cornell University)|2019. 07. 01.

Distributed systems and fault tolerance참고 문헌 22인용 수 5

한 줄 요약

이 논문은 Cielo 페타플롭 Cray XE 슈퍼컴퓨터에서 대규모 장애 주입 캠프에 대해, 인터커넥트 네트워크와 계산 노드에서의 장애-실패 전파를 연구하기 위해 수행되었다. HPCArrow 도구를 사용하여 링크, 노드, 블레이드에 하드웨어 수준의 장애를 주입함으로써, 핵심적인 복구 지연과 네트워크 사각지대를 규명하였으며, 이는 사전 적응형 복원성 메커니즘을 가능하게 하였다. 이러한 발견은 향후 Cray XC (Aries) 시스템으로도 적용 가능하다.

ABSTRACT

We present a set of fault injection experiments performed on the ACES (LANL/SNL) Cray XE supercomputer Cielo. We use this experimental campaign to improve the understanding of failure causes and propagation that we observed in the field failure data analysis of NCSA's Blue Waters. We use the data collected from the logs and from network performance counter data 1) to characterize the fault-error-failure sequence and recovery mechanisms in the Gemini network and in the Cray compute nodes, 2) to understand the impact of failures on the system and the user applications at different scale, and 3) to identify and recreate fault scenarios that induce unrecoverable failures, in order to create new tests for system and application design. The faults were injected through special input commands to bring down network links, directional connections, nodes, and blades. We present extensions that will be needed to apply our methodologies of injection and analysis to the Cray XC (Aries) systems.

연구 동기 및 목표

• 대규모 HPC 시스템, 특히 네트워크 및 계산 구성 요소에서의 장애-실패 전파를 이해하기 위해.
• 응용 프로그램 복원성에 영향을 주는 핵심 실패 시나리오—특히 네트워크 사각지대와 장기적인 복구 시간—를 특정하기 위해.
• 실제 슈퍼컴퓨터에서 체계적이고 반복 가능한 장애 실험을 수행하기 위한 소프트웨어 기반 장애 주입 도구(HPCArrow)를 개발하고 검증하기 위해.
• 장애 탐지 및 복구를 향상시키기 위한 시스템 및 응용 프로그램 수준의 인스트루멘테이션을 위한 실질적인 권고 사항을 제공하기 위해.
• Cielo(Cray XE)의 통찰을 Cray XC(Aries) 시스템으로 확장하기 위해 방법론의 이행 가능성을 확보하기 위해.

제안 방법

• 실제 페타플롭 규모의 HPC 시스템에서 하드웨어 구성 요소 수준(링크, 노드, 블레이드)의 고장을 하드웨어 수준에서 주입하기 위해 소프트웨어 기반 장애 주입(SWIFI) 도구인 HPCArrow를 개발하였다.
• 지속적인 고장을 목표로 한 18개의 통제된 장애 주입 실험을 수행하였으며, 이는 네트워크 링크, 방향성 연결, 계산 노드 및 블레이드에 대한 실험이었다.
• 고장-실패 시퀀스와 복구 역학을 캡처하기 위해 로그 및 네트워크 성능 카운터를 사용하여 시스템 동작을 모니터링하였다.
• 오류 로그와 복구 타임라인을 분석하여 네트워크 사각지대와 장기적인 복구 기간과 같은 핵심 실패 조건을 식별하였다.
• 실시간 알림을 가능하게 하기 위해 하드웨어 오류 로그에서 관찰된 이상 현상을 비판적인 시스템 상태의 지표로 사용하였다.
• 네트워크 동작 및 복구 메커니즘의 유사성을 식별하여 Cray XC(Aries) 시스템에서의 향후 장애 주입을 지원하기 위해 방법론을 확장하였다.

실험 결과

연구 질문

• RQ1 대규모 HPC 시스템의 Gemini 인터커넥트 네트워크와 계산 노드에서의 핵심 장애-실패 전파 경로는 무엇인가?
• RQ2 특히 링크 및 노드 고장과 같은 네트워크 관련 고장은 응용 프로그램 실행과 시스템 복구 시간에 어떤 영향을 미치는가?
• RQ3 네트워크 사각지대와 같은 핵심 실패 조건은 장기적이거나 복구 불가능한 시스템 상태로 이어지는가?
• RQ4 시스템 및 응용 프로그램 수준의 인스트루멘테이션은 네트워크 고장을 실시간으로 탐지하고 대응하기 위해 어떻게 향상될 수 있는가?
• RQ5 Cray XE(Cielo)에서의 장애 주입 방법론과 발견 결과는 Cray XC(Aries) 시스템에 얼마나 적용 가능한가?

주요 결과

• HPCArrow는 Cielo의 8,944노드 시스템에서 54개 링크, 2개 노드, 4개 블레이드에 장애 주입에 성공하여 실제 환경에서의 효과성을 검증하였다.
• 응용 프로그램과 시스템 소프트웨어에 대한 사전 알림이 가능할 정도로 긴 복구 기간을 유발하는 네트워크 사각지대가 관찰되었다.
• 실험 기간 동안 수집된 하드웨어 오류 로그에는 비판적인 네트워크 상태의 실시간 지표로 사용할 수 있는 이상 현상이 포함되어 있었다.
• 일부 고장 조합(예: 연속적인 링크 고장)의 경우 복구 시간이 수 분을 초과하여 응용 프로그램의 장기적인 취약 기간을 만들었다.
• Cielo의 Gemini 네트워크에서의 고장-실패 행동과 복구 패턴은 Blue Waters에서 관찰된 바와 유사하여 발견의 이행 가능성을 검증하였다.
• Cray XE(Gemini)와 Cray XC(Aries) 간의 네트워크 아키텍처 및 복구 메커니즘 유사성은 장애 주입 방법론이 신규 시스템으로도 확장 가능하다는 것을 시사한다.