[논문 리뷰] Cloud and AI Infrastructure Cost Optimization: A Comprehensive Review of Strategies and Case Studies

Saurabh Deochake|arXiv (Cornell University)|2023. 07. 24.

Cloud Computing and Resource Management인용 수 4

한 줄 요약

이 논문은 클라우드 비용 최적화 전략에 대한 종합적인 리뷰를 제시하며, 가격 모델, 자원 할당 기법, 실제 사례 연구를 분석하여 상당한 비용 절감 효과를 입증한다. 이는 자동화 및 FinOps 관행을 융합한 프레임워크를 제안하며, Prime Video 및 Pinterest와 같은 사례 연구에서 최대 70%의 비용 절감을 달성한다.

ABSTRACT

Cloud computing has revolutionized the way organizations manage their IT infrastructure, but it has also introduced new challenges, such as managing cloud costs. The rapid adoption of artificial intelligence (AI) and machine learning (ML) workloads has further amplified these challenges, with GPU compute now representing 40-60\% of technical budgets for AI-focused organizations. This paper provides a comprehensive review of cloud and AI infrastructure cost optimization techniques, covering traditional cloud pricing models, resource allocation strategies, and emerging approaches for managing AI/ML workloads. We examine the dramatic cost reductions in large language model (LLM) inference which has decreased by approximately 10x annually since 2021 and explore techniques such as model quantization, GPU instance selection, and inference optimization. Real-world case studies from Amazon Prime Video, Pinterest, Cloudflare, and Netflix showcase practical application of these techniques. Our analysis reveals that organizations can achieve 50-90% cost savings through strategic optimization approaches. Future research directions in automated optimization, sustainability, and AI-specific cost management are proposed to advance the state of the art in this rapidly evolving field.

연구 동기 및 목표

• 기업 워크로드의 총 소유비용에 대해 다양한 클라우드 가격 모델(즉시 사용, 예약, 스폰지)의 영향을 분석하기 위해.
• 자원 크기 조정, 자동 스케일링, 클라우드 제공업체 간 워크로드 이주시켜 등 핵심 비용 최적화 기법을 식별하고 평가하기 위해.
• 전략적 가격 책정과 인프라 최적화를 통해 측정 가능한 비용 절감 효과를 보여주는 실제 사례 연구를 제시하기 위해.
• 적응형 스케일링, 다중 클라우드 비용 모델링, 지속 가능성 기반 최적화와 같은 미래 연구 방향 탐색하기 위해.
• 조직이 FinOps 관행을 구현하고 클라우드 환경에서 장기적인 비용 효율성을 달성할 수 있도록 체계적인 프레임워크 제공하기 위해.

제안 방법

• 즉시 사용, 예약, 스폰지 가격 모델을 분석하며, 비용 구조, 유연성, 다양한 워크로드 유형에 대한 적합성을 고려한다.
• 인스턴스 크기 조정, 과다 할당 방지, 효율적인 데이터 전송 관리와 같은 자원 최적화 기법을 평가한다.
• 워크로드 수요 및 역사적 사용 패턴에 기반해 용량을 동적으로 조정하기 위해 자동 스케일링 및 예측 자원 할당을 적용한다.
• 지속적인 모니터링, 비용 할당 태그, 클라우드 환경 전반의 예산 강제 이행을 통해 FinOps 원칙을 통합한다.
• 실제 배포 및 비용 추적을 통해 전략을 검증하기 위해 사례 연구(예: Prime Video, Pinterest)를 활용한다.
• 다중 클라우드 비용 모델링, 비용-성능 트레이드오���, 녹색 컴퓨팅 통합을 포함한 미래 연구 방향을 제안한다.

실험 결과

연구 질문

• RQ1 다양한 워크로드 패턴에서 다양한 클라우드 가격 모델(즉시 사용, 예약, 스폰지)이 총 클라우드 지출에 어떤 영향을 미치는가?
• RQ2 성능을 손상시키지 않으면서 클라우드 인프라 비용을 줄이기 위한 가장 효과적인 기술적 및 운영 전략은 무엇인가?
• RQ3 자동화 및 FinOps 관행은 생산 환경에서 클라우드 지출을 얼마나 줄일 수 있는가?
• RQ4 예측 분석 및 워크로드 프로파일링은 클라우드 워크로드의 비용-성능 트레이드오프를 어떻게 향상시킬 수 있는가?
• RQ5 다중 클라우드, 하이브리드 클라우드 및 지속 가능한 클라우드 아키텍처에서 비용 최적화를 위한 가장 유망한 미래 연구 방향은 무엇인가?

주요 결과

• Pinterest의 사례 연구에서 보듯이 예약 인스턴스와 최적의 워크로드 배치 전략을 도입함으로써 조직은 최대 70%의 비용 절감을 이룰 수 있다.
• Prime Video는 변동성이 큰 스트리밍 워크로드를 처리하기 위해 즉시 사용 및 스폰지 인스턴스를 활용함으로써 운영 비용을 낮추고 확장성을 향상시켰다.
• Savings Plans과 프리티어 제공 사양은 특히 장기적이고 예측 가능한 워크로드에 있어 추가적인 유연성과 비용 효율성을 제공한다.
• 비용 모니터링, 태그 지정, 예산 설정을 포함한 효과적인 FinOps 관행은 장기적인 비용 최적화를 유지하기 위해 필수적이다.
• 자동 스케일링과 예측 자원 할당은 과다 할당 및 유휴 자원 비용을 크게 줄여 비용 효율성을 향상시킨다.
• 적응형 스케일링, 다중 클라우드 비용 모델링, 녹색 컴퓨팅 통합 분야의 향후 연구는 클라우드 시스템의 비용-성능 및 지속 가능성 향상에 더욱 기여할 수 있다.