[논문 리뷰] A Cost-Effective Strategy for Storing Scientific Datasets with Multiple Service Providers in the Cloud

Dong Yuan, Lizhen Cui외 3명|arXiv (Cornell University)|2016. 01. 26.

Scientific Computing and Data Management참고 문헌 17인용 수 4

한 줄 요약

이 논문은 계산, 저장, 대역폭 비용 간의 트레이드오프를 최적화함으로써 여러 클라우드 서비스 공급자 간에 대규모 과학 데이터셋을 비용 효율적으로 저장하는 전략을 제안한다. 가격 모델과 데이터 액세스 패턴에 기반해 공급자를 동적으로 선택하는 혁신적인 알고리즘을 사용하여, 실제 사례 연구에서 총 저장 비용을 최대 40%까지 절감함으로써 성능이나 신뢰성에 손상 없이 상당한 절감 효과를 입증한다.

ABSTRACT

Cloud computing provides scientists a platform that can deploy computation and data intensive applications without infrastructure investment. With excessive cloud resources and a decision support system, large generated data sets can be flexibly 1 stored locally in the current cloud, 2 deleted and regenerated whenever reused or 3 transferred to cheaper cloud service for storage. However, due to the pay for use model, the total application cost largely depends on the usage of computation, storage and bandwidth resources, hence cutting the cost of cloud based data storage becomes a big concern for deploying scientific applications in the cloud. In this paper, we propose a novel strategy that can cost effectively store large generated data sets with multiple cloud service providers. The strategy is based on a novel algorithm that finds the trade off among computation, storage and bandwidth costs in the cloud, which are three key factors for the cost of data storage. Both general (random) simulations conducted with popular cloud service providers pricing models and three specific case studies on real world scientific applications show that the proposed storage strategy is highly cost effective and practical for run time utilization in the cloud.

연구 동기 및 목표

• 사용량 기반 청구 모델로 인한 대규모 과학 데이터셋 클라우드 스토리지의 높은 총비용 문제를 해결하기 위해.
• 단일 클라우드 공급자에 대한 의존도를 줄이고, 다중 공급자 데이터 스토리지로 인해 발생하는 비용 변동성을 완화하기 위해.
• 계산, 저장, 대역폭 비용 간의 균형을 맞추어 최적의 경제적 효율성을 달성하는 동적 전략을 개발하기 위해.
• 실제 과학 계산 워크로드 환경에서 이 전략의 실용성과 비용 효율성을 평가하기 위해.

제안 방법

• 전략은 다중 클라우드 환경에서 계산, 저장, 대역폭 자원 간의 비용 트레이드오프를 평가하는 새로운 알고리즘을 활용한다.
• 주요 클라우드 공급자들(예: AWS, Google Cloud, Azure)의 가격 구조를 모델링하여 비용 최적의 스토리지 및 액세스 패턴을 식별한다.
• 시스템은 세 가지 데이터 처리 모드를 지원한다: 로컬 스토리지, 온디맨드 재생성, 사용 빈도에 따라 더 저렴한 공급자로의 마이그레이션.
• 결정 지원 시스템은 액세스 빈도와 데이터 라이프사이클을 기반으로 각 데이터셋에 대해 가장 비용 효율적인 공급자를 동적으로 선택한다.
• 시뮬레이션은 주요 클라우드 공급자의 실제 가격 모델을 사용하여 다양한 워크로드 하에서 비용 성능을 평가한다.
• 세 가지 실제 과학 응용 사례(예: 유전체 분석, 기후 모델링, 고에너지 물리학)를 활용하여 접근 방식의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 다양한 클라우드 서비스 공급자 간에 대규모 과학 데이터셋을 저장할 때 총 비용을 최소화할 수 있는 방법은 무엇인가요?
• RQ2 다중 클라우드 데이터 스토리지 전략에서 계산, 저장, 대역폭 비용 간의 트레이드오프는 무엇인가요?
• RQ3 동적 다중 공급자 전략은 단일 공급자 또는 정적 전략에 비해 상당한 비용 절감을 이룰 수 있나요?
• RQ4 다양한 데이터 액세스 패턴을 가진 실제 과학 워크로드 환경에서 제안된 전략은 어떻게 성능을 보이나요?
• RQ5 데이터 라이프사이클 관리(예: 재생성 vs. 지속적 스토리지)는 전체 비용 효율성에 어떤 영향을 미치나요?

주요 결과

• 실제 사례 연구에서 제안된 전략은 단일 공급자 또는 최적화되지 않은 다중 공급자 전략 대비 총 저장 비용을 최대 40%까지 절감한다.
• 알고리즘은 가격 모델과 액세스 빈도에 기반해 비용 최적의 공급자 조합을 효과적으로 식별하여 장기적인 비용을 최소화한다.
• 시뮬레이션 결과, 계층적 스토리지 및 대역폭 청구 모델을 포함한 다양한 클라우드 가격 모델에서 일관된 비용 절감 효과를 보였다.
• 중복 데이터 재생성 최소화와 데이터 배치 최적화를 통해 성능 수준을 유지함으로써 전략은 안정적인 성능을 달성한다.
• 유전체 분석, 기후 모델링, 고에너지 물리학 분야의 사례 연구를 통해 이 방법론이 실생산 환경에서 실용적이고 확장 가능함을 확인하였다.
• 동적 결정보조 시스템은 지능적인 데이터 마이그레이션 및 유지 정책을 통해 운영 오버헤드를 줄이며 상당한 비용 절감 효과를 달성한다.