[논문 리뷰] Resilience Design Patterns: A Structured Approach to Resilience at Extreme Scale

Saurabh Hukerikar, Christian Engelmann|QRU Quaderns de Recerca en Urbanisme|2017. 08. 23.

Radiation Effects in Electronics인용 수 4

한 줄 요약

이 논문은 고성능 컴퓨팅(HPC) 시스템의 극한 규모에서 내재된 복원력 설계를 위한 체계적인 방법론을 제안한다. 이는 일반적인 장애, 오류 및 실패 문제를 해결하기 위한 재사용 가능한, 체계화된 솔루션인 복원력 설계 패턴을 활용한다. 기존의 HPC 복원력 기법들을 패턴 카탈로그와 조합형 설계 프레임워크로 정리함으로써, 하드웨어 및 소프트웨어 계층 간에 체계적이고 최적화된 복원력 솔루션의 통합, 최적화, 이식 가능성을 가능하게 하여 보호 범위, 성능, 전력 효율성을 향상시키고 설계 시점의 트레이드오프 분석을 지원한다.

ABSTRACT

Reliability is a serious concern for future extreme-scale high-performance computing (HPC) systems. While the HPC community has developed various resilience solutions, the solution space remains fragmented. There are no formal methods and metrics to integrate the various HPC resilience techniques into composite solutions, nor are there methods to holistically evaluate the adequacy and efficacy of such solutions in terms of their protection coverage, and their performance & power efficiency characteristics. In this paper, we develop a structured approach to the design, evaluation and optimization of HPC resilience using the concept of design patterns. A design pattern is a general repeatable solution to a commonly occurring problem. We identify the problems caused by various types of faults, errors and failures in HPC systems and the techniques used to deal with these events. Each well-known solution that addresses a specific HPC resilience challenge is described in the form of a pattern. We develop a complete catalog of such resilience design patterns, which may be used as essential building blocks when designing and deploying resilience solutions. We also develop a design framework that enhances a designer's understanding the opportunities for integrating multiple patterns across layers of the system stack and the important constraints during implementation of the individual patterns. It is also useful for defining mechanisms and interfaces to coordinate flexible fault management across hardware and software components. The overall goal of this work is to establish a systematic methodology for the design and evaluation of resilience technologies in extreme-scale HPC systems that keep scientific applications running to a correct solution in a timely and cost-efficient manner despite frequent faults, errors, and failures of various types.

연구 동기 및 목표

• 공식적인 통합 방법과 통합 평가 지표가 부족한, HPC 복원력 솔루션의 분산되고 비조율된 상태를 해결한다.
• 다양한 복원력 기법—응용 프로그램 수준과 시스템 기반 기법을 포함—을 통합하여 체계적이고 재사용 가능한 설계 방법론을 제공하는 프레임워크를 개발한다.
• 시스템 아키텍트, 소프트웨어 개발자, 응용 프로그램 프로그래머가 변화하는 하드웨어 및 소프트웨어 스택 전반에서 표준화되고 이식 가능한 패턴을 사용해 복원력 솔루션을 조합할 수 있도록 한다.
• 성능, 보호 커버리지, 전력 소비 간의 트레이드오프를 체계적으로 분석하여 복원력 솔루션을 최적화한다.
• 극한 규모 HPC에서의 미래 복원력 공학을 위한 기반을 마련하기 위해 최선의 실천 방법을 체계화하여 패턴 기반 설계 프레임워크로 정의한다.

제안 방법

• 기술적 스케일링과 근접 임계 전압 동작으로 인한 일시적 오류 및 하드웨어 오류 등 극한 규모 HPC 시스템에서 반복적으로 발생하는 복원력 문제를 식별한다.
• 체크포인팅, 복제, 오류 탐지, 복구 등 잘 알려진 HPC 복원력 기법들을 표준화된 구조와 의미 체계를 갖춘 재사용 가능한 설계 패턴으로 체계화한다.
• 시스템 스택 계층과 추상화 수준 간의 관계를 반영하기 위해 계층적이고 계층화된 패턴 카탈로그로 정리한다.
• 다중 패턴의 조합, 하드웨어 및 소프트웨어 간 메커니즘의 조율, 구현 제약 조건의 탐색을 지원하는 설계 프레임워크를 개발한다.
• 프레임워크를 활용해 설계 대안을 탐색하고 솔루션의 유효성을 평가하며 성능, 복원력 커버리지, 전력 효율성 측면에서 최적화한다.
• 패턴 기반 접근법을 활용해 향후 아키텍처를 위한 신규 복원력 솔루션 개발과 기존 솔루션의 재설계를 이끌어낸다.

실험 결과

연구 질문

• RQ1 극한 규모 HPC 시스템의 복원력 기법은 어떻게 복합적이고 확장 가능한 솔루션으로 체계적으로 통합될 수 있는가?
• RQ2 다양한 HPC 복원력 솔루션을 통합하고 체계적이고 재사용 가능한 프레임워크로 만드는 데 적합한 공식적 구조와 분류 체계는 무엇인가?
• RQ3 하드웨어 및 소프트웨어 계층 간에 복원력 패턴을 어떻게 조합하여 유연성, 이식 가능성, 조율 가능성을 확보할 수 있는가?
• RQ4 이 패턴 기반 접근법을 통해 성능, 보호 커버리지, 전력 소비 간의 트레이드오프를 어떻게 체계적으로 평가하고 최적화할 수 있는가?
• RQ5 이 메서드는 향후 HPC 시스템에서 복원력 솔루션의 설계, 평가, 진화를 얼마나 향상시킬 수 있는가?

주요 결과

• 논문은 일반적인 HPC 장애, 오류, 실패 문제를 해결하기 위한 알려진 솔루션을 체계화한 포괄적인 복원력 설계 패턴 카탈로그를 구축하여 재사용성과 표준화를 가능하게 한다.
• 패턴의 계층적 구성은 시스템 아키텍트에서 저수준 컴포넌트 개발자에 이르기까지 적절한 추상화 수준에서 작업할 수 있도록 한다.
• 제안된 설계 프레임워크는 복수의 패턴을 조합하여 완전한 복원력 솔루션을 구성하면서도 계층 간 종속성과 제약 조건을 관리할 수 있도록 한다.
• 패턴 기반 접근법은 성능, 보호 커버리지, 전력 소비 간의 균형을 이루는 데 특히 유리한 체계적 탐색 및 최적화를 지원한다.
• 최선의 실천 방법을 체계화함으로써 이 메서드는 극한 규모 HPC에서의 미래 복원력 공학을 위한 기반을 마련하고, 이식 가능하고 확장 가능한 솔루션을 가능하게 한다.
• 프레임워크는 향후 엑사스케일 시스템을 포함한 변화하는 하드웨어 및 소프트웨어 환경 전반에서 복원력 솔루션의 이식성과 적응성을 향상시킨다.