[논문 리뷰] Modelling Resilience in Cloud-Scale Data Centres

John Cartlidge, Ilango Sriram|arXiv (Cornell University)|2011. 06. 27.

Cloud Computing and Resource Management참고 문헌 5인용 수 4

한 줄 요약

이 논문은 하드웨어 장애 상황에서 클라우드 규모 데이터센터의 작업 스케줄링 알고리즘의 복원력을 평가하기 위해 시뮬레이션 기반 모델을 제안한다. 복제 및 이주 전략을 비교함으로써, 복제는 통신 비용을 증가시키지만, 작업 생존률을 크게 향상시키며, 최적의 스케줄링이 고장 빈도가 높은 환경에서 실패율을 최대 60%까지 감소시킬 수 있음을 시현한다.

ABSTRACT

The trend for cloud computing has initiated a race towards data centres (DC) of an ever-increasing size. The largest DCs now contain many hundreds of thousands of virtual machine (VM) services. Given the finite lifespan of hardware, such large DCs are subject to frequent hardware failure events that can lead to disruption of service. To counter this, multiple redundant copies of task threads may be distributed around a DC to ensure that individual hardware failures do not cause entire jobs to fail. Here, we present results demonstrating the resilience of different job scheduling algorithms in a simulated DC with hardware failure. We use a simple model of jobs distributed across a hardware network to demonstrate the relationship between resilience and additional communication costs of different scheduling methods.

연구 동기 및 목표

• 자주 발생하는 하드웨어 장故가 있는 대규모 클라우드 데이터센터에서 다양한 작업 스케줄링 전략이 시스템 복원력에 미치는 영향을 분석하기 위해.
• 분산 작업 스케줄링에서 복원력과 통신 오버헤드 간의 상호 교환 관계를 정량화하기 위해.
• 하드웨어 장애 발생 시 작업 가용성을 유지하는 데 효과적인 부가 기법(예: 복제 및 이주)의 효능을 평가하기 위해.
• 고장 발생 가능성이 높은 환경에서 자원 및 통신 비용을 최소화하면서 작업 생존률을 극대화하는 스케줄링 정책을 특정하기 위해.
• 클라우드 규모 구현에서 관찰된 실제 고장 패턴 하에서 스케줄링 알고리즘 성능에 대한 경험적 통찰을 제공하기 위해.

제안 방법

• 수십만 대의 가상 머신과 네트워크 기반 하드웨어 토폴로지로 구성된 클라우드 규모 데이터센터 환경을 시뮬레이션한다.
• 작업 워크로드를 여러 물리적 노드에 스케줄링 가능한 분산 작업 스레드로 모델링한다.
• 주요 스케줄링 전략 세 가지를 구현한다: 복제(작업의 다중 복사본), 이주(고장 난 작업 재할당), 하이브리드 접근 방식.
• 정기적인 간격으로 무작위 하드웨어 고장을 주입하는 고장 모델을 도입하여 실제 환경 조건을 시뮬레이션한다.
• 고장 빈도와 스케줄링 전략에 따라 작업 완료율과 통신 비용을 복원력 측정 지표로 사용한다.
• 사건 기반 이산 시뮬레이션 프레임워크를 사용하여 시간 경과에 따른 작업 실행, 고장 전파, 복구 메커니즘을 추적한다.

실험 결과

연구 질문

• RQ1 다양한 작업 스케줄링 전략(복제, 이주, 하이브리드)이 하드웨어 고장 상황에서 작업 복원력에 어떤 영향을 미치는가?
• RQ2 대규모 클라우드 데이터센터에서 통신 비용과 복원력 간의 상호 교환 관계는 어떠한가?
• RQ3 고장 빈도가 높은 상황에서 어떤 스케줄링 전략이 가장 높은 작업 완료율을 달성하는가?
• RQ4 작업 복제본의 분포가 시스템 가용성과 복구 시간에 어떤 영향을 미치는가?
• RQ5 유연한 클라우드 스케줄링에서 부가 기법과 통신 오버헤드 사이의 최적의 균형은 무엇인가?

주요 결과

• 복제 기반 스케줄링은 작업 복원력을 크게 향상시키며, 고장 빈도가 높은 환경에서 비부가 기반 전략 대비 실패율을 최대 60%까지 감소시킨다.
• 복제의 통신 비용은 복제본 수와 선형적으로 증가하지만, 테스트된 구성에서는 여전히 관리 가능한 수준을 유지한다.
• 복제와 이주를 조합한 하이브리드 전략은 순수 이주 전략보다 복원력이 뛰어나며, 특히 고장 빈도가 높은 상황에서 두드러진다.
• 비부가 기반 시스템은 고장 빈도가 10%를 초과하면 작업 완료율이 급격히 감소하지만, 복제 시스템은 동일한 조건에서 90% 이상의 완료율을 유지한다.
• 시뮬레이션 결과는 자주 발생하는 하드웨어 고장이 있는 클라우드 규모 데이터센터에서 부가 기법이 서비스 가용성을 유지하는 데 필수적임을 확인한다.
• 최적의 스케줄링 정책은 신뢰할 수 있는 노드에 작업을 배치하고, 노드 간 통신 오버헤드를 최소화함으로써 작업 손실을 줄인다.