[論文レビュー] Serverless Model Serving for Data Science.

Yuncheng Wu, Tien Tuan Anh Dinh+4 more|arXiv (Cornell University)|Mar 4, 2021

Cloud Computing and Resource Management参考文献 31被引用数 4

ひとこと要約

本論文は、データサイエンスにおける機械学習モデルサービングのための実用的プラットフォームとしてのサーバesslessコンピューティングの有効性を評価し、特定の条件下では従来のクラウドおよびGPUベースのシステムよりもコストとレイテンシで優れることが示されている。著者らはAWSとGCPのクロスクラウドでのパフォーマンスおよびコスト評価を実施し、特に変動的または低～中程度のワークロードにおいて、サーバesslessがGPUシステムを凌駕する効率性を示している。

ABSTRACT

Machine learning (ML) is an important part of modern data science applications. Data scientists today have to manage the end-to-end ML life cycle that includes both model training and model serving, the latter of which is essential, as it makes their works available to end-users. Systems for model serving require high performance, low cost, and ease of management. Cloud providers are already offering model serving options, including managed services and self-rented servers. Recently, serverless computing, whose advantages include high elasticity and fine-grained cost model, brings another possibility for model serving. In this paper, we study the viability of serverless as a mainstream model serving platform for data science applications. We conduct a comprehensive evaluation of the performance and cost of serverless against other model serving systems on two clouds: Amazon Web Service (AWS) and Google Cloud Platform (GCP). We find that serverless outperforms many cloud-based alternatives with respect to cost and performance. More interestingly, under some circumstances, it can even outperform GPU-based systems for both average latency and cost. These results are different from previous works' claim that serverless is not suitable for model serving, and are contrary to the conventional wisdom that GPU-based systems are better for ML workloads than CPU-based systems. Other findings include a large gap in cold start time between AWS and GCP serverless functions, and serverless' low sensitivity to changes in workloads or models. Our evaluation results indicate that serverless is a viable option for model serving. Finally, we present several practical recommendations for data scientists on how to use serverless for scalable and cost-effective model serving.

研究の動機と目的

• サーバesslessコンピューティングがデータサイエンス応用における主流のモデルサービングプラットフォームとして実現可能であるかを評価すること。
• 従来のクラウドベースおよびGPUアクセcelレートドのモデルサービングシステムと比較して、サーバesslessのパフォーマンスとコストを評価すること。
• パフォーマンスのボトル neck とクロスプラットフォームの差異、特にAWSとGCP間のコールドスタートレイテンシの差を特定すること。
• データサイエンティストがスケーラブルでコスト効率の良いモデルサービングを実装するための実用的かつ具体的な推奨事項を提供すること。
• サーバesslessはMLワークロードに不適切であり、GPUシステムはモデルインフェレンスにおいて本質的に優れているという一般的な信念に挑戦すること。

提案手法

• AWSおよびGoogleクラウド・プラットフォーム（GCP）におけるモデルサービングシステムの包括的なベンチマーキング評価を実施すること。
• 実際のデータサイエンスワークロードを用いて、さまざまなモデルタイプと入力サイズにおけるレイテンシ、スループット、コストを測定すること。
• 複数のモデルサービングアーキテクチャを実装・比較すること：サーバessless関数（AWS Lambda、GCP Cloud Functions）、マネージドGPUインスタンス、セルフホステッドCPU/GPUサーバー。
• AWSとGCPのサーバesslessプラットフォーム間のコールドスタートパフォーマンスの差を分析すること。
• ワークロードの変動やモデルの複雑さの変化に対するシステムの感受性を評価すること。
• さまざまなシナリオにおけるパフォーマンスとコストのトレードオフに基づき、実用的なデプロイメントガイドラインを導出すること。

実験結果

リサーチクエスチョン

• RQ1 GPUベースおよびマネージドクラウド代替手段と比較して、サーバesslessコンピューティングは機械学習モデルサービングにおいて競争力のあるパフォーマンスとコスト効率を達成できるか？
• RQ2 AWSとGCPのサーバessless関数におけるコールドスタートレイテンシの違いは何か？また、それらは全体のシステムパフォーマンスにどのような影響を及えるか？
• RQ3 どのようなワークロード条件下で、サーバesslessがレイテンシおよびコストの両面でGPUアクセcelレートドシステムを上回るか？
• RQ4 サーバesslessモデルサービングは、モデルサイズ、入力データ、またはリクエスト頻度の変化に対してどれほど感受性を示すか？
• RQ5 スケーラブルでコスト効率の良いモデルサービングを実現するため、データサイエンティストがサーバesslessを採用するにあたり考慮すべき実用的要因は何か？

主な発見

• 中程度から低めのリクエストレートのワークロードにおいて、サーバesslessは多くのクラウドベースの代替手段よりもコストとパフォーマンスで優れている。
• 特定の条件下では、サーバesslessはGPUベースのシステムよりも平均レイテンシとコストが低くなることが確認され、GPUがインフェレンスにおいて常に優れているという仮定に疑問を呈している。
• AWSとGCPのサーバessless関数の間には顕著なコールドスタートレイテンシの差が存在し、GCPは著しく長いコールドスタートを示している。
• サーバesslessはワークロードのボリュームやモデルの複雑さの変化に対して感受性が低く、動的なデータサイエンスワークロードに強く適応可能であることが示された。
• 変動的またはバースト型のワークロードにおいて、細粒度のリソース割り当てにより余分なコストが削減されるため、サーバesslessのパフォーマンスとコストの利点が最も顕著に現れる。
• 本研究は、スケーラブルでコスト効率が良く、パフォーマンスに優れたモデルサービングを実現するための、実行可能な推奨事項を提供している。