[논문 리뷰] A simple and effective predictive resource scaling heuristic for large-scale cloud applications

Valentín Flunkert, Quentin Rebjock외 3명|arXiv (Cornell University)|2020. 08. 03.

Cloud Computing and Resource Management참고 문헌 23인용 수 4

한 줄 요약

이 논문은 자원 확보가 지연되고 처리 능력에 제한이 있는 대규모 클라우드 환경에서 사용자 정의된 위험 수용 수준을 고려한 단순한 위험 인식 예측 자동 스케일링 히우리스틱을 제안한다. 이 방법은 확률적 워크로드 예측을 사용하여 최적의 스케일링 결정을 내리며, 자원 확보 지연과 처리 능력 제한을 고려한다. 복잡한 최적화 및 기준 정책보다 뛰어나며, 특히 높은 위험 회피 성향 상황에서 뛰어난 성능을 보이며, 계산 비용의 일부분으로 최적 해에 근접한 성능을 달성한다.

ABSTRACT

We propose a simple yet effective policy for the predictive auto-scaling of horizontally scalable applications running in cloud environments, where compute resources can only be added with a delay, and where the deployment throughput is limited. Our policy uses a probabilistic forecast of the workload to make scaling decisions dependent on the risk aversion of the application owner. We show in our experiments using real-world and synthetic data that this policy compares favorably to mathematically more sophisticated approaches as well as to simple benchmark policies.

연구 동기 및 목표

• 자원 확보가 지연되고 처리 능력에 제한이 있는 대규모 클라우드 환경에서 반응형 자동 스케일링의 한계를 해결하기 위해.
• 확률적 예측을 통해 위험 회피 성향을 반영한 실용적이고 확장 가능한 자동 스케일링 정책을 개발하기 위해.
• 실제 및 시뮬레이션 데이터를 사용하여 제안된 히우리스틱을 정교한 최적화 방법과 기준 정책과 비교 평가하기 위해.
• 단순한 히우리스틱이 높은 위험 회피 성향 상황—가장 실용적인 상황—에서 최적 성능에 근접한 성능을 달성할 수 있음을 보여주기 위해.

제안 방법

• 해당 방법은 향후 워크로드의 확률적 예측을 사용하여 분위수를 추정함으로써, 응용 프로그램 소유자의 위험 수용 수준에 따라 위험 인식 스케일링 결정을 내린다.
• 자원 확보 지연을 보상하기 위해 예측을 예상 지연 시간만큼 뒤로 조정하는 예측 이동 기법을 도입한다.
• 과소 제공에 대한 벌점을 과다 제공보다 더 높게 부과하는 위험 인식 비용 함수를 최소화함으로써 스케일링 정책을 유도한다.
• 조정된 예측과 현재 용량을 비교하여 필요한 호스트 증감 수치를 계산하며, 조정된 증감 수치는 예상 확보 시간만큼 지연된다.
• 복잡한 혼합정수계획문제를 해결하지 않고도 계산이 효율적이며, 최적 해에 근접한 해를 근사하는 히우리스틱을 사용한다.
• 실제 데이터 1,000개의 아마존 자동 스케일링 그룹과 강한 계절성 패턴 및 노이즈를 포함한 시뮬레이션 데이터 세트를 사용하여 방법을 검증하였다.

실험 결과

연구 질문

• RQ1 실제 클라우드 환경 제약 조건 하에서 복잡한 최적화 기반 자동 스케일링 정책과 비교해 복잡한 히우리스틱이 유사한 성능을 달성할 수 있는가?
• RQ2 자원 확보 지연이 존재하는 상황에서 확률적 예측이 점 예측보다 스케일링 결정을 어떻게 향상시키는가?
• RQ3 위험 회피 성향이 최적의 스케일링 정책에 얼마나 큰 영향을 미치며, 히우리스틱은 이를 효과적으로 반영할 수 있는가?
• RQ4 예측 이동 기법이 자원 확보 지연을 효과적으로 보상하면서 비용을 최소화하는 데 성공하는가?
• RQ5 비용과 확장성 측면에서 제안된 방법은 반응형 및 기준 히우리스틱 정책과 비교해 어떻게 성능을 냈는가?

주요 결과

• 예측 이동 히우리스틱은 수학적 프로그래밍을 통해 확보한 최적 해와 유사한 비용 성능을 달성하며, 특히 높은 위험 회피 성향 상황에서 뛰어난 성능을 보였다.
• 강한 계절성과 낮은 노이즈를 가진 시뮬레이션 데이터 세트(D₁)에서, 히우리스틱은 중앙값 손실 및 극단 손실 측면에서 Max Day 및 Max Week 기준 정책보다 뚜렷이 뛰어난 성능을 보였다.
• 실제 데이터(R₁)에서는 중앙값 손실 측면에서 Max Day/Week 정책보다 높았지만, 극단 손실을 극적으로 감소시켜 더 우수한 위험 관리 능력을 보였다.
• 위험 회피 수준(α)이 높을수록, 특히 α ≈ 0.9 근처에서 히우리스틱은 최적 정책의 스케일링 패턴을 거의 정확히 재현하였다.
• 히우리스틱의 계산 비용은 전체 최적화에 비해 극히 낮아 대규모 배포에 실용적이었다.
• 이 방법은 이미 생산 환경에 적합하며, 현재 40,000개 이상의 내부 및 외부 AWS 자동 스케일링 그룹을 자동으로 스케일링하는 데 사용 중이다.