[논문 리뷰] Understanding and Coping with Hardware and Software Failures in a Very Large Trigger Farm

Jim Kowalkowski|ArXiv.org|2003. 06. 13.

Distributed systems and fault tolerance참고 문헌 5인용 수 8

한 줄 요약

이 논문은 페르미랩의 BTeV 실험을 위해 고에너지 물리학 분야에서 대규모 트리거 팜을 위한 고장 내성 인프라를 제시한다. 이는 수천 대의 프로세서가 실시간 이벤트 필터링을 수행하는 환경을 포함한다. RTES 협력체는 확장성, 검증 가능성, 동적 재구성 기능을 갖춘 시스템을 설계하여 하드웨어 및 소프트웨어 장애를 탐지하고 격리하며 복구함으로써, 대규모 클러스터에서 일반적으로 나타나는 높은 장애율 조건에서도 시스템의 신뢰성을 확보한다.

ABSTRACT

When thousands of processors are involved in performing event filtering on a trigger farm, there is likely to be a large number of failures within the software and hardware systems. BTeV, a proton/antiproton collider experiment at Fermi National Accelerator Laboratory, has designed a trigger, which includes several thousand processors. If fault conditions are not given proper treatment, it is conceivable that this trigger system will experience failures at a high enough rate to have a negative impact on its effectiveness. The RTES (Real Time Embedded Systems) collaboration is a group of physicists, engineers, and computer scientists working to address the problem of reliability in large-scale clusters with real-time constraints such as this. Resulting infrastructure must be highly scalable, verifiable, extensible by users, and dynamically changeable.

연구 동기 및 목표

• 실시간 데이터 필터링에 사용되는 수천 대의 프로세서를 포함한 매우 큰 트리거 팜에서 예상되는 높은 장애율을 해결하기 위해.
• 실시간 컴퓨팅 환경에서 빈번한 하드웨어 및 소프트웨어 장애가 발생하더라도 시스템의 신뢰성과 지속적인 운영을 보장하기 위해.
• 대규모 분산 시스템에 적합한 확장성, 검증 가능성, 확장성, 동적 재구성 기능을 갖춘 인프라를 설계하기 위해.
• 엄격한 성능 제약 조건 하에서 강력하고 고장에 강건한 실시간 처리가 필요한 BTeV 실험의 요구사항을 충족하기 위해.
• 장애를 자동으로 탐지하고 격리하며 복구할 수 있는 프레임워크를 개발하여 데이터 수집 과정에 영향을 주지 않도록 하기 위해.

제안 방법

• 동적 재구성과 고장 복구를 지원하는 분산형 실시간 시스템 아키텍처를 설계하기 위해.
• 실시간으로 하드웨어 및 소프트웨어 장애를 탐지하기 위해 모니터링 및 로깅 메커니즘을 구현하기 위해.
• 모듈식이고 검증 가능하며 확장 가능한 시스템 설계를 가능하게 하기 위해 구성 요소 기반 소프트웨어 모델을 사용하기 위해.
• 처리 연속성을 유지하기 위해 런타임 환경에 고장 탐지 및 복구 로직을 통합하기 위해.
• 컴ponent 수준의 고장에 강건한 시스템을 구축하기 위해 RTES 협력체의 다학제적 전문 지식을 활용하기 위해.
• 지연 시간을 최소화하고 반응성을 극대화하기 위해 경량의 이벤트 기반 통신 프로토콜을 사용하기 위해.

실험 결과

연구 질문

• RQ1 수천 대의 프로세서를 포함한 대규모 트리거 팜은 빈번한 하드웨어 및 소프트웨어 장애가 발생하더라도 어떻게 신뢰성을 유지할 수 있는가?
• RQ2 분산형 고성능 컴퓨팅 시스템에서 실시간 고장 탐지 및 복구를 가능하게 하는 아키텍처적 및 소프트웨어 기법은 무엇인가?
• RQ3 확장성과 검증 가능성을 동시에 확보하면서도 동적 재구성을 지원할 수 있는 시스템은 어떻게 설계할 수 있는가?
• RQ4 실시간 물리 데이터 수집 환경에서 고장 조건 하에서도 지속적인 데이터 처리를 보장하기 위한 메커니즘은 무엇인가?
• RQ5 시스템 성능을 저해하거나 불필요하게 복잡성을 증가시키지 않으면서 고장 내성을 어떻게 달성할 수 있는가?

주요 결과

• 제안된 인프라는 대규모 트리거 팜에서 일반적으로 나타나는 높은 장애율을 효과적으로 관리하여 지속적인 데이터 처리를 보장한다.
• 런타임 환경에 통합된 자동 고장 탐지 및 복구 메커니즘 덕분에 시스템의 고가용성을 달성한다.
• 구성 요소 기반 설계 덕분에 모듈식 검증과 동적 재구성이 가능해져 유지보수성과 확장성이 향상된다.
• 극도로 높은 실시간 처리 요구 조건이 존재하는 BTeV 실험의 맥락에서 이 솔루션이 효과적으로 검증되었다.
• RTES 협력체의 다학제적 접근 방식은 대규모 과학 컴퓨팅에 적합한 강력하고 확장 가능한 프레임워크를 도출했다.
• 시스템은 일시적 고장과 지속적 고장을 모두 견뎌내는 능력을 보이며, 데이터 손실과 정지 시간을 최소화한다.