[논문 리뷰] A Survey of Fault-Tolerance and Fault-Recovery Techniques in Parallel Systems

Michael Treaster|ArXiv.org|2005. 01. 01.

Distributed systems and fault tolerance참고 문헌 33인용 수 81

한 줄 요약

이 종합 검토는 대규모 클러스터 시스템에서 장애 내성 및 장애 복구 기법에 대해 포괄적인 개요를 제공하며, 관리 구성 요소에 대한 冗복성과 계산 노드에 대한 체크포인트 및 롤백 복구에 중점을 둡니다. 소프트웨어 라이브러리, 미들웨어, 시스템 수준 확장 기법 등의 구현 접근 방식을 평가하여, 고장 발생 가능성이 높은 병렬 환경에서의 강건성 확보를 위해 다양한 계층적 전략이 필수적임을 입증합니다.

ABSTRACT

Supercomputing systems today often come in the form of large numbers of commodity systems linked together into a computing cluster. These systems, like any distributed system, can have large numbers of independent hardware components cooperating or collaborating on a computation. Unfortunately, any of this vast number of components can fail at any time, resulting in potentially erroneous output. In order to improve the robustness of supercomputing applications in the presence of failures, many techniques have been developed to provide resilience to these kinds of system faults. This survey provides an overview of these various fault-tolerance techniques.

연구 동기 및 목표

• 높은 구성 요소 고장률을 보이는 대규모 클러스터 시스템에 필수적인 장애 내성 메커니즘을 분석하고 분류하기.
• 비잔틴, 실패-정지, 실패-스터트 모델 등의 다양한 장애 모델이 장애 내성 설계를 어떻게 이끌어내는지 비교 분석하기.
• 소프트웨어 라이브러리, 프로그래밍 언어 확장, 시스템 수준의 미들웨어 등 다양한 장애 내성 구현 전략을 평가하기.
• 다양한 장애 내성 구현 모델 간의 사용 용이성, 이식성, 시스템 통합성 간의 상충 관계 평가하기.
• 개발자와 시스템 아키텍트가 애플리케이션 요구사항과 시스템 제약 조건에 기반해 적절한 장애 내성 기법을 선택할 수 있도록 기초 제공하기.

제안 방법

• 장애 유형을 중심화된 구성 요소 고장(예: 관리 노드)과 계산 노드 고장(예: 프로세스 충돌)으로 분류하며, 각각 다른 보호 전략이 필요함을 강조합니다.
• 세 가지 장애 모델인 비잔틴(임의의 악성 행동), 실패-정지(감지 가능한 정지), 실패-스터트(성능 저하와 함께 정상 기능 유지)를 도입하고 비교 분석합니다.
• 장애 발생 시에도 지속성을 확보하기 위해 복제를 활용하는 중심화된 구성 요소에 대한 冗복 기반 솔루션을 검토합니다.
• 장시간 실행되는 애플리케이션을 위한 체크포인트 및 롤백 복구 기법을 상세히 설명하며, 협조적 체크포인트 및 독립적 체크포인트의 프로토콜을 포함합니다.
• 구현 기법 분석: API를 제공하는 소프트웨어 라이브러리, 객체 지향 메타 객체, 장애 내성 프로그래밍 언어, 운영 체제 수준 확장, 프리프로세서 기반 코드 생성 기법.
• 백그라운드 데몬을 통해 애플리케이션 전반에 걸쳐 장애 내성을 투명하게 모니터링하고 관리하는 미들웨어 기반 접근 방식을 평가합니다.

실험 결과

연구 질문

• RQ1 비잔틴, 실패-정지, 실패-스터트 모델은 클러스터 시스템에서 장애 내성 메커니즘의 설계와 효과성에 어떻게 영향을 미치는가?
• RQ2 중심화된 구성 요소에 대한 冗복 기반 보호와 계산 노드에 대한 체크포인트 기반 복구 간의 상충 관계는 무엇인가?
• RQ3 라이브러리, 미들웨어, 언어 확장 등 다양한 구현 전략이 개발자 사용성, 시스템 통합성, 장애 내성 커버리지에 어떻게 영향을 미치는가?
• RQ4 분석적 취급 용이성을 유지하면서도 실패-정지 모델에 비해 실제 시스템 고장 상황을 더 잘 반영하는 실패-스터트 모델의 장점은 무엇인가?
• RQ5 대규모 클러스터에서 애플리케이션 계층과 기반 시스템 인fra구조 모두에 대한 장애 내성 확보의 주요 과제는 무엇인가?

주요 결과

• 실패-정지 모델은 자동 고장 감지가 가능하며 단순성 덕분에 널리 사용되지만, 메모리 손상과 같은 미세한 고장을 감지하지 못함.
• 비잔틴 모델은 가장 극단적인 위협을 가정하며, m개의 고장을 견딜 수 있도록 최소 3m+1개의 노드가 필요하지만, 실용적인 클러스터 시스템에 너무 엄격함.
• 실패-스터트 모델은 성능 저하가 발생하더라도 정상 기능을 유지함으로써 현실적인 중간 지점 제공하여 실용적인 장애 내성 모델링 향상.
• 관리 노드나 스토리지 노드와 같은 중심화된 구성 요소 보호를 위해 冗복성이 주요 기법이며, 복제를 통해 장애 복구와 일관성 유지 보장.
• 장시간 실행되는 애플리케이션 보호를 위해 체크포인트 및 롤백 복구 기법이 주로 사용되며, 상태 저장 및 복원을 조율하는 프로토콜 포함.
• 소프트웨어 라이브러리와 미들웨어는 실용적이고 구현 가능한 장애 내성 솔루션을 제공하며, 미들웨어는 투명한 보호를, 라이브러리는 API 기반의 세밀한 제어를 가능하게 함.