[논문 리뷰] Skyplane: Optimizing Transfer Cost and Throughput Using Cloud-Aware Overlays

Paras Jain, Sam Kumar외 4명|arXiv (Cornell University)|2022. 10. 13.

Cloud Computing and Resource Management인용 수 11

한 줄 요약

Skyplane는 응용 프로그램 계층 오버레이를 사용하여 클라우드 영역 간 대용량 데이터 전송을 최적화하는 클라우드 인식 데이터 전송 시스템입니다. 성능과 이그레스 가격 간의 트레이드오프를 혼합정수선형계획문(MILP)으로 공식화하여, 네이티브 클라우드 서비스 대비 최대 5.0× 빠른 전송 속도를 달성하면서도 비용 증가를 최소화합니다.

ABSTRACT

Cloud applications are increasingly distributing data across multiple regions and cloud providers. Unfortunately, wide-area bulk data transfers are often slow, bottlenecking applications. We demonstrate that it is possible to significantly improve inter-region cloud bulk transfer throughput by adapting network overlays to the cloud setting -- that is, by routing data through indirect paths at the application layer. However, directly applying network overlays in this setting can result in unacceptable increases in cloud egress prices. We present Skyplane, a system for bulk data transfer between cloud object stores that uses cloud-aware network overlays to optimally navigate the trade-off between price and performance. Skyplane's planner uses mixed-integer linear programming to determine the optimal overlay path and resource allocation for data transfer, subject to user-provided constraints on price or performance. Skyplane outperforms public cloud transfer services by up to $4.6 imes$ for transfers within one cloud and by up to $5.0 imes$ across clouds.

연구 동기 및 목표

• 다중 클라우드 및 다중 영역 환경에서 효율적이고 고속의 대용량 데이터 전송을 위한 증가하는 수요를 해결하기 위해.
• 서브옵티멀한 라우팅과 비용 인식 부족으로 인해 종종 성능이 열등한 네이티브 클라우드 전송 서비스의 한계를 극복하기 위해.
• 간접 오버레이 경로와 클라우드의 유연성(에이스틸리티)을 활용하여 사용자가 성능과 비용을 균형 있게 조정할 수 있도록 하기 위해.
• 사용자가 정의한 비용 또는 성능 제약 조건 내에서 최대 전송 속도를 달성하기 위해 동적으로 최적의 릴레이 영역를 선택하고 클라우드 자원을 할당하는 시스템을 설계하기 위해.

제안 방법

• Skyplane은 중간 클라우드 영역를 통해 데이터를 라우팅하기 위해 응용 프로그램 계층 네트워크 오버레이를 사용합니다. 이로써 직접적인 느린 경로를 회피합니다.
• 전송 최적화 문제를 혼합정수선형계획문(MILP)으로 공식화하여 각 클라우드 영역의 이그레스 비용과 대역폭 제약 조건을 모델링합니다.
• 기획자(플래너)는 사용자가 지정한 성능 또는 비용 제약 조건을 충족시키기 위해 최적의 오버레이 경로와 각 릴레이 영역에 할당할 VM 인스턴스 수를 결정합니다.
• MILP 또는 완화된 선형계획문(LP) 해법기를 사용하여 대역폭 하한선이 있는 비용 최소화 또는 비용 상한선이 있는 전송 속도 최대화를 지원합니다.
• 클라우드의 유연성을 활용하여 VM을 동적으로 할당함으로써 개별 영역의 물리적 한계를 초월한 대역폭을 확보합니다.
• 기존 클라우드 객체 스토어와 통합되며, 클라우드 제공업체의 인프라에 대한 변경 없이 작동합니다.

실험 결과

연구 질문

• RQ1 응용 프로그램 계층 오버레이는 클라우드 영역 및 제공업체 간 대용량 데이터 전송의 전송 속도를 크게 향상시킬 수 있는가?
• RQ2 클라우드 인식 라우팅과 자원 할당은 다중 클라우드 환경에서 전송 비용을 최소화하면서 전송 속도를 극대화하는 데 어떻게 기여하는가?
• RQ3 클라우드의 유연성은 데이터 전송에서 물리적 네트워크 용량 한계를 초월하는 데 얼마나 효과적으로 활용될 수 있는가?
• RQ4 혼합정수선형계획문 공식화는 클라우드 데이터 전송에서 성능과 이그레스 가격 간의 트레이드오프를 효과적으로 모델링할 수 있는가?

주요 결과

• Skyplane은 AWS DataSync보다 인라인 클라우드 전송에서 최대 4.6×, GCP Storage Transfer보다 크로스 클라우드 전송에서 최대 5.0× 빠른 성능을 기록합니다.
• Azure의 웨스트 유럽 2 영역 경유 최적 오버레이 경로를 통해 Skyplane은 12.4 Gbps의 전송 속도를 달성했으며, 이는 직접 경로의 6.2 Gbps보다 두 배 빠르고, 이그레스 비용은 1.2×에 불과합니다.
• 동일한 릴레이를 일본 동부 지역으로 변경하면 전송 속도는 13.9 Gbps로 증가하지만 비용은 1.9×로 상승하여, 비용 인식 경로 선택의 중요성을 입증합니다.
• Skyplane은 네이티브 클라우드 서비스 대비 전송 시간을 최대 5.0× 단축시키며, 추가 비용은 최소한으로 유지합니다.
• 비용 및 유연성 제약 조건을 통합한 결과, 학술 기반 시스템 RON 대비 34%의 성능 향상을 달성했습니다.
• MILP 기반 기획자 시스템은 성능과 비용을 효과적으로 균형 잡으며, 사용자가 제약 조건을 설정하고 근사 최적의 전송 계획을 달성할 수 있도록 합니다.