[논문 리뷰] Ad hoc Cloud Computing: From Concept to Realization

Gary A. McGilvary, Adam Barker외 1명|arXiv (Cornell University)|2015. 05. 29.

Caching and Content Delivery참고 문헌 6인용 수 25

한 줄 요약

이 논문은 가상화와 BOINC 기반 조율 기법을 사용하여 기존 인프라(예: 기업 또는 개인용 컴퓨터 등)에서 일시적으로만 이용 가능한, 비독점적이고 신뢰성 없는 자원을 동적으로 통합하는 최초의 엔드 투 엔드 애드혹 클라우드 컴퓨팅 프레임워크를 제시한다. 실제 호스트의 이탈 상황에서도 최대 93.3%의 작업 완료 신뢰도를 달성하며, 게스트 장애가 발생하더라도 아마존 EC2와 유사한 성능을 제공한다.

ABSTRACT

This paper presents the first complete, integrated and end-to-end solution for ad hoc cloud computing environments. Ad hoc clouds harvest resources from existing sporadically available, non-exclusive (i.e. primarily used for some other purpose) and unreliable infrastructures. In this paper we discuss the problems ad hoc cloud computing solves and outline our architecture which is based on BOINC.

연구 동기 및 목표

• 신뢰성 없고 독점적이지 않으며 일시적으로만 이용 가능한 호스트 자원으로부터 신뢰성 있고 확장 가능한 클라우드 인프라를 구축하는 데 도전하는 것.
• 전용 인프라 없이도 클라우드 서비스를 가능하게 하여 기존 IT 자산의 활용도를 높이고 비용을 절감하는 것.
• 호스트 애플리케이션에 간섭 없이도 호스트 장애나 이탈 상황에서도 작업의 지속 가능성을 보장하는 것.
• 일반적인 CPU 중심의 자원 기부 컴퓨팅을 넘어서 입/출력, 메모리, 디스크 집약적인 작업을 포함한 다양한 워크로드를 지원하는 것.
• 기본 인프라의 복잡성을 숨기면서도 VM 제어를 통해 IaaS 수준의 액세스를 허용하는 PaaS 추상화를 제공하는 것.

제안 방법

• 시스템은 분산된 호스트 간의 작업 제출, 스케줄링, 상태 추적을 관리하기 위해 중앙 집중식 애드혹 서버를 사용한다.
• 각 호스트는 가상 머신(게스트)을 관리하고 자원 및 상태 정보를 서버에 보고하는 애드혹 클라이언트를 실행한다.
• 작업는 로직적으로 묶인 단위인 클라우드릿으로 묶인 가상 머신에 할당되며, 각 클라우드릿은 특정 실행 환경(예: MATLAB 또는 BLAST용)을 제공한다.
• 클라우드 지속성 메커니즘은 VM 스냅샷 이행을 활용한다: 호스트가 접근 불가가 되면 서버는 호스트 신뢰도 공식에 기반해 새로운 호스트에 스냅샷을 복원한다.
• 경량 가상화를 사용하고 클라우드 워크로드를 격리함으로써 호스트 프로세스에 간섭을 최소화하는 아키텍처를 구현한다.
• 사용자에게 VM IP 주소를 노출시킴으로써 PaaS와 잠재적인 IaaS 확장 기능을 지원한다.

실험 결과

연구 질문

• RQ1 일시적으로만 이용 가능하고 신뢰성이 떨어지는 호스트에서 실행되는 클라우드 서비스가 어떻게 안정적으로 유지될 수 있는가?
• RQ2 호스트 장애나 이탈 상황에서 작업 지속성과 데이터 일관성을 확보하기 위한 메커니즘은 무엇인가?
• RQ3 주요 워크로드에 영향을 주지 않으면서 이질적이고 전용이 아닌 호스트 간에 클라우드 워크로드를 효율적으로 스케줄링하고 격리할 수 있는 방법은 무엇인가?
• RQ4 실제 인프라 동적 환경 하에서 애드혹 클라우드가 아마존 EC2와 같은 상용 클라우드의 성능을 어느 정도 충족할 수 있는가?
• RQ5 가상화, 신뢰성, 스케줄링을 하나의 통합된 일관된 아키텍처로 통합하는 종단 간 애드혹 클라우드 프레임워크를 구축할 수 있는가?

주요 결과

• 실제 36개월간의 Nagios 모니터링 기간 동안의 실세계 호스트 가용성 데이터를 사용해 30개 노드에서 평가한 결과, 애드혹 클라우드 프로토타입은 최대 93.3%의 작업 완료 신뢰도를 달성했다.
• 작업 실행 중 하나 이상의 애드혹 게스트가 장애를 일으켜도, 시스템은 아마존 EC2와 유사한 성능을 보였다.
• 호스트 신뢰도 공식은 초기 작업 배포에 적합한 호스트를 효과적으로 선별하여 전체 시스템의 내구성을 향상시켰다.
• 스냅샷 기반의 이행은 응용 프로그램 수준의 체크포인팅 없이도 호스트 장애 이후의 투명한 복구를 가능하게 하여 작업 지속성을 유지했다.
• 아키텍처는 일반적인 CPU 집약적 작업을 넘어서 입/출력 및 메모리 집약적 응용 프로그램을 포함한 다양한 워크로드를 성공적으로 지원했다.
• 국내망 기반 환경에서 프로토타입은 실현 가능하고 확장 가능하다는 것이 입증되었으며, 향후 광역망 및 실생산 환경으로의 확장 계획이 수립되어 있다.