[논문 리뷰] Are Markov Models Effective for Storage Reliability Modelling?

Prasenjit Karmakar, K. Gopinath|arXiv (Cornell University)|2015. 03. 27.

Advanced Data Storage Technologies참고 문헌 2인용 수 5

한 줄 요약

이 논문은 비지수적故애 및 수리 분포의 단계형 근사법을 사용하는 상세한 연속시간 마르코프 체인(CTMC)이 저장 시스템의 신뢰성 분석에 효과적으로 적용될 수 있음을 보여주며, 계산 비용을 극히 줄이고도 시뮬레이션 수준의 정확도를 달성한다. 다중 상태 CTMC를 통해 구성 요소의 노화와 복구 진행 상황을 모델링함으로써 기존 마르코프 모델의 기억 없음 성질을 초월한다.

ABSTRACT

Continuous Time Markov Chains (CTMC) have been used extensively to model reliability of storage systems. While the exponentially distributed sojourn time of Markov models is widely known to be unrealistic (and it is necessary to consider Weibull-type models for components such as disks), recent work has also highlighted some additional infirmities with the CTMC model, such as the ability to handle repair times. Due to the memoryless property of these models, any failure or repair of one component resets the "clock" to zero with any partial repair or aging in some other subsystem forgotten. It has therefore been argued that simulation is the only accurate technique available for modelling the reliability of a storage system with multiple components. We show how both the above problematic aspects can be handled when we consider a careful set of approximations in a detailed model of the system. A detailed model has many states, and the transitions between them and the current state captures the "memory" of the various components. We model a non-exponential distribution using a sum of exponential distributions, along with the use of a CTMC solver in a probabilistic model checking tool that has support for reducing large state spaces. Furthermore, it is possible to get results close to what is obtained through simulation and at much lower cost.

연구 동기 및 목표

• 기존 CTMC 모델이 구성 요소의 노화와 부분 복구 진행 상황을 忽略하는 기억 없음 성질을 고려하지 못하는 한계를 해결하기 위해.
• 다중 디스크 고장 내성 시스템에서 실제 고장 및 수리 행동(예: Weibull 분포)을 잘 반영할 수 있는 상세한 CTMC 모델이 단계형 분포를 사용해 얼마나 정확하게 근사할 수 있는지 조사하기 위해.
• 고정밀도 및 저비용 계산으로 복잡한 저장 신뢰성 시나리오를 정확하게 모델링할 수 있는지 평가하기 위해, 자동화된 CTMC 해소기(PRISM)의 타당성과 정확도를 평가하기 위해.
• 특히 RAID6 시스템에서 드문 사건인 데이터 손실의 경우를 중심으로, 제안된 CTMC 접근 방식의 결과를 Greenan의 고정밀 시뮬레이션 결과와 비교하기 위해.

제안 방법

• Weibull 분포 등 비지수적 고장 및 수리 시간 분포를 단계형 분포를 통해 지수 분포의 합으로 근사함. 특히 3단계 및 8단계 에르랑 모델을 사용함.
• 각 상태가 구성 요소의 연령과 복구 진행 상황을 포함하도록 상세한 CTMC 모델을 구성함으로써 이전 시스템 상태의 기억을 반영하고, 기억 없음 가정을 초월함.
• PRISM 확률적 모델 체커를 사용해 일시적 분석을 수행하고 데이터 손실 확률을 계산함. 상태 공간이 1000개 이하일 경우 대칭성 감소 기법을 활용함.
• 10년 간의 기간 동안 목표 Weibull 분포와 근사된 분포의 위험률 곡선이 일치하도록 모멘트 매칭을 사용해 단계형 모델의 파라미터를 추정함.
• PRISM에서 모듈러이고 독립적인 구성 요소로 디스크 서브시스템을 모델링함으로써 이벤트의 교차 처리가 가능해지고, 시스템 설계자들이 확장성 있는 모델링을 쉽게 할 수 있도록 함.
• 다양한 MDS 구성에 대해 Greenan의 고정밀 시뮬레이션 결과와 비교하여 10년 간의 데이터 손실 확률을 검증함.

실험 결과

연구 질문

• RQ1 단계형 근사법을 사용하는 상세한 CTMC 모델이 다중 디스크 저장 시스템에서 구성 요소의 노화와 복구 진행 상황과 같은 시간에 따라 변하는 신뢰성 특성을 효과적으로 모델링할 수 있는가?
• RQ2 지수 분포의 합으로 구성된 CTMC 모델이 Weibull 고장 및 수리 분포를 얼마나 정확하게 근사할 수 있으며, 형상 파라미터 선택이 근사 품질에 어떤 영향을 미치는가?
• RQ3 PRISM과 같은 CTMC 해소기로는 시뮬레이션 수준의 정확도를 유지하면서도 런타임을 크게 줄일 수 있는가?
• RQ4 일부 구성에서 CTMC 결과와 시뮬레이션 결과 간의 격차가 발생하는 이유는 무엇이며, 이는 Weibull 근사의 품질과 어떤 관련이 있는가?

주요 결과

• 제안된 CTMC 접근 방식은 고정밀 시뮬레이션 결과와 동일한 주기수준 내에서 데이터 손실 확률 추정치를 도출하며, PRISM는 각 데이터 포인트를 1초 이내에 계산함.
• RAID6 구성에서 PRISM 기반 CTMC 모델은 시뮬레이션 대비 약 150배 빠른 속도를 기록하면서도 유사한 정확도를 유지함으로써 뚜렷한 성능 향상을 입증함.
• CTMC와 시뮬레이션 결과 간 격차는 주로 고형상 파라미터가 높은 Weibull 분포를 에르랑 분포로 근사할 때 발생하며, 이는 시간이 지남에 따라 위험률이 증가하는 경향을 제대로 반영하지 못하기 때문임.
• Weibull 고장에 대해 3단계 마르코프 모델, 수리에 대해 8단계 에르랑 모델을 사용할 경우, 특히 초기 10년 간에 걸쳐 시뮬레이션 결과와의 일치도가 향상되었으며, 기존 기억 없음 모델 대비 편차가 감소함.
• PRISM의 사용은 이벤트의 교차 처리 및 상태 공간 감소를 자동화함으로써 복잡한 저장 시스템의 확장 가능한 모델링을 가능하게 하여, 실세계 신뢰성 분석에 대한 상세한 CTMC 모델링을 실용적으로 만들었음.
• 모델링을 통해 구성 요소의 연령과 복구 진행 상황을 상태 기반으로 추적함으로써 시스템의 기억을 효과적으로 포착하였으며, 기존 마르코프 모델의 核심 한계를 해결함.