[논문 리뷰] Cloud Index Tracking: Enabling Predictable Costs in Cloud Spot Markets

Supreeth Shastri, David Irwin|arXiv (Cornell University)|2018. 09. 10.

Blockchain Technology Applications and Security참고 문헌 28인용 수 7

한 줄 요약

이 논문은 클라우드 스폿 마켓에서 예측 가능한 비용을 보장하기 위해 스폿 VM의 집합적 인덱스 가격을 사용하는 마이그레이션 정책인 Cloud Index Tracking을 제안한다. 이 시스템은 이러한 안정적인 인덱스에서의 이탈을 추적함으로써, 과도한 마이그레이션 없이 저비용·고가용성 워크로드를 운영하며, 온디맨드 가격 수준에 가까운 비용 예측 가능성을 확보한다. 同시로 보수적인 마이그레이션 정책과 유사한 가용성 수준도 유지한다.

ABSTRACT

Cloud spot markets rent VMs for a variable price that is typically much lower than the price of on-demand VMs, which makes them attractive for a wide range of large-scale applications. However, applications that run on spot VMs suffer from cost uncertainty, since spot prices fluctuate, in part, based on supply, demand, or both. The difficulty in predicting spot prices affects users and applications: the former cannot effectively plan their IT expenditures, while the latter cannot infer the availability and performance of spot VMs, which are a function of their variable price. To address the problem, we use properties of cloud infrastructure and workloads to show that prices become more stable and predictable as they are aggregated together. We leverage this observation to define an aggregate index price for spot VMs that serves as a reference for what users should expect to pay. We show that, even when the spot prices for individual VMs are volatile, the index price remains stable and predictable. We then introduce cloud index tracking: a migration policy that tracks the index price to ensure applications running on spot VMs incur a predictable cost by migrating to a new spot VM if the current VM's price significantly deviates from the index price.

연구 동기 및 목표

• 공급, 수요, 제공자 알고리즘 변화로 인해 개별 VM 가격이 예측 불가능하게 변동하는 클라우드 스폿 마켓에서의 비용 불확실성 문제를 해결하기 위해.
• 다양한 VM 유형, 가용성 존, 영역에서 일반화되지 못하는 기존 가격 예측 모델의 한계를 극복하기 위해.
• 스포트 가격이 변동성이 크더라도 가용성에 손상을 주지 않으면서도 예측 가능한 비용을 보장하는 마이그레이션 정책을 설계하기 위해.
• 집합적 스폿 가격이 개별 VM 가격 변동성과 무관하게 안정적이고 예측 가능한 인덱스를 형성함을 입증하기 위해.
• 이 인덱스를 추적함으로써 비용 인식 마이그레이션을 가능하게 하되, 동시에 고가용성을 유지할 수 있음을 보여주기 위해.

제안 방법

• 저자들은 한 지역 내 모든 VM 유형과 가용성 존에 걸쳐 스폿 가격의 가중 평균으로 클라우드 인덱스 가격을 정의한다. 이 인덱스 가격은 개별 VM 가격보다 더 높은 안정성을 보인다.
• 개별 스폿 가격은 지역적 공급과 수요에 따라 변동하지만, VM 유형과 지역 간의 다각화 효과로 인해 집합적 인덱스 가격은 안정성을 유지함을 관찰한다.
• Cloud Index Tracking 정책은 현재 VM 가격이 인덱스 가격에서 크게 이격되었을 경우 마이그레이션을 트리거함으로써 비용 예측 가능성을 확보한다.
• 이 시스템은 역사적 데이터를 활용해 인덱스 가격을 계산하고, 변화하는 시장 조건을 반영하기 위해 동적으로 업데이트함으로써 장기적으로도 관련성을 유지한다.
• 이 정책은 AWS EC2에 구현되어 실제 워크로드를 사용해 기존 전략과의 비교를 통해 비용 예측 가능성과 가용성 측면에서 평가된다.
• 이 방법은 인덱스가 개인 VM의 행동이 아닌 시장 전반의 추세에 기반하므로, EC2의 내부 가격 알고리즘 변화에 대해 저항력이 있다.

실험 결과

연구 질문

• RQ1 스포트 VM 가격의 집합적 인덱스를 구성할 수 있는가? 이 인덱스는 개별 VM 가격보다 현저히 더 안정적이고 예측 가능할까?
• RQ2 이 인덱스를 추적함으로써 가용성에 손상을 주지 않으면서도 비용 예측 가능한 마이그레이션을 가능하게 할 수 있을까?
• RQ3 비용 최소화 정책과 가용성 중심 정책에 비해 Cloud Index Tracking의 비용 예측 가능성과 가동 시간 측면에서의 성능은 어떠한가?
• RQ4 EC2의 2017년 알고리즘 업데이트와 같은 클라우드 제공자 가격 알고리즘 변화에 대해 인덱스 가격은 얼마나 견고한가?
• RQ5 장기적인 가격 추세를 추적함으로써 예약된 VM 구매 결정과 같은 장기적 의사결정에 인덱스를 활용할 수 있을까?

주요 결과

• 클라우드 인덱스 가격은 개별 스폿 VM 가격보다 현저히 더 안정적이고 예측 가능하며, 다양한 VM 유형과 가용성 존 간에 변동성이 낮다.
• Cloud Index Tracking은 인덱스 가격 수준에 근접한 비용 예측 가능성을 확보한다—이론적 최소 비용의 5% 이내의 비용을 기록한다—동시에 높은 가용성을 유지한다.
• 이 정책은 보수적인 마이그레이션 정책(예: HotSpot)과 유사한 가용성을 확보하지만, 과도한 비용 최소화 전략보다는 현저히 낮은 마이그레이션 오버헤드와 더 적은 취소 수를 기록한다.
• 2017년 말 EC2가 내부 가격 알고리즘을 변경해 개별 VM 가격 변동성을 줄였음에도 불구하고, 인덱스 가격은 여전히 안정적이고 예측 가능했으며, 이는 본 방법의 견고성을 입증한다.
• 지난 10년간의 인덱스 가격 추세는 온디맨드 VM에 대해 일관된 하락 추세를 보이며, 장기적 비용 계획 및 예약 VM 결정에 있어 유용성을 입증한다.
• 이 방법은 복잡한 개별 가격 예측이 필요 없이도 응용 프로그램이 예측 가능한 비용을 유지할 수 있도록 하여, 기업 워크로드에 실용적임을 보여준다.