[論文レビュー] Skyplane: Optimizing Transfer Cost and Throughput Using Cloud-Aware Overlays

Paras Jain, Sam Kumar+4 more|arXiv (Cornell University)|Oct 13, 2022

Cloud Computing and Resource Management被引用数 11

ひとこと要約

Skyplane は、クラウドリソースの利用状況を考慮したデータ転送システムであり、クラウドリージョン間のバルクデータ転送を最適化する。アプリケーション層のオーバーレイを用いてスループットを向上させつつ、コストを最小限に抑える。パフォーマンスとエグレス料金のトレードオフを混合整数線形計画法（MILP）として定式化し、ネイティブなクラウドサービスよりも最大5.0倍の高速化を実現しながら、最小限のコスト増加で実現可能である。

ABSTRACT

Cloud applications are increasingly distributing data across multiple regions and cloud providers. Unfortunately, wide-area bulk data transfers are often slow, bottlenecking applications. We demonstrate that it is possible to significantly improve inter-region cloud bulk transfer throughput by adapting network overlays to the cloud setting -- that is, by routing data through indirect paths at the application layer. However, directly applying network overlays in this setting can result in unacceptable increases in cloud egress prices. We present Skyplane, a system for bulk data transfer between cloud object stores that uses cloud-aware network overlays to optimally navigate the trade-off between price and performance. Skyplane's planner uses mixed-integer linear programming to determine the optimal overlay path and resource allocation for data transfer, subject to user-provided constraints on price or performance. Skyplane outperforms public cloud transfer services by up to $4.6 imes$ for transfers within one cloud and by up to $5.0 imes$ across clouds.

研究の動機と目的

• マルチクラウドおよびマルチリージョン環境における効率的で高スループットのバルクデータ転送の増大するニーズに対応すること。
• ネイティブクラウド転送サービスの限界を克服すること。これらは、最適でないルーティングとコスト認識の欠如により、しばしば性能が劣る。
• 間接的なオーバーレイ経路とクラウドのスケーラビリティを活用することで、ユーザーがパフォーマンスとコストのバランスを取れるようにすること。
• ユーザーが定義したコストまたはパフォーマンス制約内でスループットを最大化するように、最適なリレーエリアを選択し、クラウドリソースを割り当てるシステムを設計すること。

提案手法

• Skyplane はアプリケーション層のネットワークオーバーレイを用いて、中間のクラウドリージョンを通じてデータをルーティングし、直接接続の遅延の高い経路を回避する。
• 転送最適化問題を混合整数線形計画法（MILP）として定式化し、各クラウドリージョンのエグレスコストと帯域幅制約をモデル化する。
• プランナは、ユーザーが指定したパフォーマンスまたはコスト制約を満たすために、最適なオーバーレイ経路と各リレーリージョンに割り当てるVMインスタンス数を決定する。
• MILPまたは緩和された線形計画法（LP）ソルバを用いて、帯域幅の下限を満たすコスト最小化、またはコスト上限を満たすスループット最大化の両方を実現する。
• クラウドのスケーラビリティを活用し、個々のリージョンの物理的帯域幅を超えて帯域幅を増加させるために、VMを動的に割り当てる。
• Skyplane は既存のクラウドオブジェクトストレージと統合され、クラウドプロバイダーのインfra構造に変更を加える必要がない。

実験結果

リサーチクエスチョン

• RQ1 アプリケーション層のオーバーレイは、クラウドリージョンおよびプロバイダー間でバルクデータ転送のスループットを著しく向上させることができるか？
• RQ2 クラウドに適応したルーティングとリソース割り当ては、マルチクラウド環境において、転送コストを最小限に抑えつつスループットを最大化できるか？
• RQ3 クラウドのスケーラビリティは、データ転送における物理的ネットワーク容量の上限を超えるためにどれほど活用できるか？
• RQ4 混合整数線形計画法（MILP）の定式化は、クラウドデータ転送におけるパフォーマンスとエグレス料金のトレードオフを効果的にモデル化できるか？

主な発見

• Skyplane は、イントラクラウド転送において AWS DataSync より最大4.6倍、クロスクラウド転送において GCP Storage Transfer より最大5.0倍の高速化を達成した。
• Azure の West US 2 リージョンを通る最適化されたオーバーレイ経路を用いることで、Skyplane は 12.4 Gbps のスループットを達成した。これは直接経路の 6.2 Gbps より2倍であり、エグレスコストは1.2倍にとどまった。
• 東日本リージョンを別のリレーポイントとして使用した場合、スループットは 13.9 Gbps に上昇したが、コストは1.9倍に増加した。これは、コスト認識に基づいた経路選択の重要性を示している。
• Skyplane は、ネイティブクラウドサービスと比較して、最小限の追加コストで転送時間を最大5.0倍短縮した。
• コストとスケーラビリティ制約を組み込んだ状態で、学術的ベースライン RON より34%のパフォーマンス向上を達成した。
• MILPに基づくプランナは、パフォーマンスとコストのバランスを効果的にとることができ、ユーザーが制約を設定し、ほぼ最適な転送計画を達成できる。