[논문 리뷰] Sector and Sphere: Towards Simplified Storage and Processing of Large Scale Distributed Data

Yunhong Gu, Robert L. Grossman|ArXiv.org|2008. 09. 06.

Cloud Computing and Resource Management참고 문헌 8인용 수 11

한 줄 요약

이 논문은 지리적으로 산재한 데이터 센터를 통해 대규모 데이터 처리를 단순화하기 위해 설계된 분산 스토리지 및 컴퓨팅 시스템인 Sector와 Sphere를 소개한다. 데이터 센터 간에 데이터와 사용자 정의 함수(UDF)를 통합 관리할 수 있도록 함으로써, Terasort 벤치마크에서 Hadoop 대비 약 2배 빠른 성능을 달성하여 클라우드 규모 워크로드에 대한 확장성과 효율성 향상을 입증한다.

ABSTRACT

Cloud computing has demonstrated that processing very large datasets over commodity clusters can be done simply given the right programming model and infrastructure. In this paper, we describe the design and implementation of the Sector storage cloud and the Sphere compute cloud. In contrast to existing storage and compute clouds, Sector can manage data not only within a data center, but also across geographically distributed data centers. Similarly, the Sphere compute cloud supports User Defined Functions (UDF) over data both within a data center and across data centers. As a special case, MapReduce style programming can be implemented in Sphere by using a Map UDF followed by a Reduce UDF. We describe some experimental studies comparing Sector/Sphere and Hadoop using the Terasort Benchmark. In these studies, Sector is about twice as fast as Hadoop. Sector/Sphere is open source.

연구 동기 및 목표

• 여러 개의 지리적으로 분산된 데이터 센터를 통해 대규모 데이터를 관리하고 처리하는 데 발생하는 복잡성을 해결한다.
• 주로 단일 데이터 센터 내에서만 작동하는 기존 스토리지 및 컴퓨팅 클라우드의 한계를 극복한다.
• 사용자 정의 함수(UDF)를 사용하여 데이터 센터 내부 및 간의 데이터 처리를 모두 지원하는 통합 프로그래밍 모델을 제공한다.
• 모듈화된 Map 및 Reduce UDF를 통해 MapReduce 스타일 워크로드를 효율적으로 구현할 수 있도록 한다.
• 실제 벤치마크에서 Hadoop 같은 기존 시스템과 비교해 뛰어난 성능과 확장성을 입증한다.

제안 방법

• 분산 및 확장 가능한 아키텍처를 사용하여 데이터 센터 내외의 데이터를 관리하는 스토리지 클라우드인 Sector를 설계한다.
• Sector에 저장된 데이터에서 UDF를 실행하는 컴퓨팅 클라우드인 Sphere를 구현하며, 데이터 센터 내부 및 간 처리를 모두 지원한다.
• Sphere 프레임워크 내에서 Map UDF를 정의한 후에 Reduce UDF를 정의함으로써 MapReduce 프로그래밍 패턴을 지원한다.
• 장애에 강하고 분산된 노드 간에 높은 가용성과 데이터 일관성을 확보하기 위해 탈중앙화된 설계를 사용한다.
• 일반 장비와 간소화된 프로그래밍 모델을 활용하여 운영 복잡성을 줄이고 개발자 생산성을 향상시킨다.
• 표준 클라우드 인fra를 통합하여 원활한 배포와 상호운용성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 여러 개의 지리적으로 분산된 데이터 센터를 통해 대규모 데이터를 어떻게 효율적으로 스토리지하고 처리할 수 있는가?
• RQ2 통합 프로그래밍 모델이 분산 데이터 처리 애플리케이션 개발을 얼마나 단순화할 수 있는가?
• RQ3 UDF 기반 시스템이 Hadoop과 같은 기존 프레임워크에 비해 성능과 확장성 면에서 뛰어나게 구현될 수 있는가?
• RQ4 데이터 센터 간 워크로드를 고려해 설계된 스토리지 및 컴퓨팅 스택의 성능 특성은 어떠한가?
• RQ5 분산 및 다중 데이터 센터 환경에서 장애 복구 및 데이터 일관성은 어떻게 처리되는가?

주요 결과

• Sector와 Sphere는 Terasort 벤치마크에서 Hadoop 대비 약 2배 빠른 성능을 기록하여 뚜렷한 속도 향상을 입증했다.
• 시스템은 여러 데이터 센터를 통해 데이터를 성공적으로 관리하고 UDF를 실행하여 단일 데이터 센터의 제약을 초월한 확장성을 입증했다.
• Map 단계 이후에 Reduce 단계를 수행하는 두 단계의 UDF 모델을 통해 MapReduce 스타일 워크로드가 효율적으로 구현되었으며, 이는 프로그래밍 모델의 확장성에 대한 타당성을 입증했다.
• Sector/Sphere의 오픈소스 성격 덕분에 커뮤니티의 도입과 대규모 데이터 처리를 위한 추가 확장이 가능해졌다.
• 저수준 분산 세부 정보를 추상화함으로써 운영 복잡성이 감소하여 개발자 생산성이 향상되었다.
• 탈중앙화된 아키텍처 덕분에 분산 워크로드 조건에서도 높은 가용성과 장애 복구 능력을 유지했다.