[논문 리뷰] The Open Cloud Testbed: A Wide Area Testbed for Cloud Computing Utilizing High Performance Network Services

Robert L. Grossman, Yunhong Gu외 4명|ArXiv.org|2009. 07. 28.

Cloud Computing and Resource Management참고 문헌 5인용 수 32

한 줄 요약

오픈 클라우드 테스트베드(OCT)는 10Gb/s 전용 라이트패스를 통해 네 개의 지리적으로 산재한 데이터센터에 퍼진 120개 노드로 구성된 광역 클라우드 컴퓨팅 테스트베드이다. 이는 기존의 공용 인터넷 기반의 소규모, 국지적 클라우드 테스트베드의 한계를 해결하고, 새로운 노드/네트워크 프로비저닝, 모니터링, RPC 시스템을 통해 대규모 벤치마킹, 상호운용성 연구, 클라우드 서비스에 대한 실험을 가능하게 하며, 일반적인 인터넷 환경을 초월한 극한의 데이터 스트림 워크로드를 지원한다.

ABSTRACT

Recently, a number of cloud platforms and services have been developed for data intensive computing, including Hadoop, Sector, CloudStore (formerly KFS), HBase, and Thrift. In order to benchmark the performance of these systems, to investigate their interoperability, and to experiment with new services based on flexible compute node and network provisioning capabilities, we have designed and implemented a large scale testbed called the Open Cloud Testbed (OCT). Currently the OCT has 120 nodes in four data centers: Baltimore, Chicago (two locations), and San Diego. In contrast to other cloud testbeds, which are in small geographic areas and which are based on commodity Internet services, the OCT is a wide area testbed and the four data centers are connected with a high performance 10Gb/s network, based on a foundation of dedicated lightpaths. This testbed can address the requirements of extremely large data streams that challenge other types of distributed infrastructure. We have also developed several utilities to support the development of cloud computing systems and services, including novel node and network provisioning services, a monitoring system, and a RPC system. In this paper, we describe the OCT architecture and monitoring system. We also describe some benchmarks that we developed and some interoperability studies we performed using these benchmarks.

연구 동기 및 목표

• 공용 인터넷을 사용하는 소규모이자 국지적 클라우드 테스트베드의 한계를 해결하기 위해.
• 분산된 데이터센터 간에 대규모 고스루풋 클라우드 애플리케이션 벤치마킹 및 상호운용성 테스트를 가능하게 하기 위해.
• 고성능 네트워킹 인프라를 활용한 클라우드 시스템의 유연한 컴퓨팅 및 네트워크 프로비저닝에 대한 연구를 지원하기 위해.
• 광역 클라우드 실험에 특화된 노드 프로비저닝, 모니터링, RPC 시스템과 같은 유틸리티를 개발하고 구현하기 위해.

제안 방법

• OCT 아키텍처는 بالت모어, 시카고(두 곳), 샌디에이고에 위치한 네 개의 데이터센터에 걸쳐 120개의 컴퓨팅 노드를 통합하며, 전용 10Gb/s 라이트패스로 상호 연결된다.
• 고성능 네트워킹은 전용 광회로(라이트패스)를 기반으로 하여 광역 클라우드 워크로드에 대한 지연 시간을 최소화하고 대역폭을 최대화한다.
• 커스터마이징된 노드 프로비저닝 시스템을 통해 분산 인프라 전반에 걸쳐 클라우드 자원의 동적 할당 및 구성이 가능해진다.
• 중앙 집중식 모니터링 시스템이 노드 및 네트워크 링크 전반의 성능 메트릭을 수집하고 관련시켜 실시간 분석 및 디버깅을 지원한다.
• 분산된 구성 요소 간의 저지연, 신뢰성 높은 통신을 가능하게 하기 위해 RPC 시스템이 구현되었다.
• Hadoop, HBase, CloudStore와 같은 데이터 집약적 클라우드 서비스를 시험하기 위해 설계된 커스텀 워크로드를 사용하여 벤치마킹 및 상호운용성 연구가 수행되었다.

실험 결과

연구 질문

• RQ1 고성능 네트워킹을 갖춘 광역 클라우드 테스트베드가 공용 인터넷 기반의 테스트베드에 비해 데이터 집약적 클라우드 애플리케이션의 확장성과 성능을 어떻게 향상시킬 수 있는가?
• RQ2 10Gb/s 라이트패스 연결을 통해 지리적으로 분산된 데이터센터에 배포된 클라우드 서비스(Hadoop, HBase 등)의 성능 특성은 어떠한가?
• RQ3 노드 및 네트워크 프로비저닝 서비스의 유연성은 대규모 클라우드 테스트베드에서 실험 및 상호운용성 향상에 얼마나 기여하는가?
• RQ4 커스텀 모니터링 및 RPC 시스템은 분산 클라우드 인프라 전반에서 실시간 성능 분석 및 서비스 조율을 얼마나 효과적으로 지원하는가?

주요 결과

• OCT는 10Gb/s 라이트패스 네트워크 인프라 덕분에 지리적으로 분산된 데이터센터 간에 대규모 고스루풋 데이터 스트림을 성공적으로 지원한다.
• 전용 라이트패스의 사용은 공용 인터넷 기반의 클라우드 테스트베드에 비해 네트워크 지연 시간을 크게 감소시키고 대역폭 가용성을 높인다.
• 상호운용성 연구에서 Hadoop, HBase, CloudStore와 같은 클라우드 서비스를 이질적인 노드와 네트워크 조건에서 통합할 때 성능 저하 요인과 설정 과제가 드러났다.
• 커스텀 모니터링 시스템은 노드 및 네트워크 링크 전반의 세밀한 실시간 성능 상관관계 분석을 가능하게 하여 시스템 동작의 근본 원인 분석을 촉진했다.
• 노드 프로비저닝 및 RPC 시스템은 광역 테스트베드 전반에서 저지연, 안정적인 조율을 보이며 동적 클라우드 서비스 배포 및 관리에 기여했다.
• 벤치마킹 결과, 공용 인터넷 인프라에 의존하는 일반적인 클라우드 테스트베드에 비해 데이터 집약적 워크로드가 OCT에서 더 높은 스루풋과 낮은 종단 간 지연 시간을 기록했다.