[論文レビュー] SMLT: A Serverless Framework for Scalable and Adaptive Machine Learning Design and Training

Ahsan Ali, Syed Zawad+4 more|arXiv (Cornell University)|May 4, 2022

Cloud Computing and Resource Management被引用数 4

ひとこと要約

SMLT は、サーバessプラットフォーム固有の制限（状態なし、短時間の関数実行時間、通信オーバーヘッドなど）を克服し、動的かつスケーラブルにリソースをスケジューリングすることで、スケーラブルで適応可能かつユーザー中心の機械学習モデルのトレーニングを可能にするサーバーヲスフレームワークである。SMLT は、最先端のVMベースおよびサーバーレスMLシステムと比較して、最大8倍の高速化と3倍のコスト削減を達成している。

ABSTRACT

In today's production machine learning (ML) systems, models are continuously trained, improved, and deployed. ML design and training are becoming a continuous workflow of various tasks that have dynamic resource demands. Serverless computing is an emerging cloud paradigm that provides transparent resource management and scaling for users and has the potential to revolutionize the routine of ML design and training. However, hosting modern ML workflows on existing serverless platforms has non-trivial challenges due to their intrinsic design limitations such as stateless nature, limited communication support across function instances, and limited function execution duration. These limitations result in a lack of an overarching view and adaptation mechanism for training dynamics and an amplification of existing problems in ML workflows. To address the above challenges, we propose SMLT, an automated, scalable, and adaptive serverless framework to enable efficient and user-centric ML design and training. SMLT employs an automated and adaptive scheduling mechanism to dynamically optimize the deployment and resource scaling for ML tasks during training. SMLT further enables user-centric ML workflow execution by supporting user-specified training deadlines and budget limits. In addition, by providing an end-to-end design, SMLT solves the intrinsic problems in serverless platforms such as the communication overhead, limited function execution duration, need for repeated initialization, and also provides explicit fault tolerance for ML training. SMLT is open-sourced and compatible with all major ML frameworks. Our experimental evaluation with large, sophisticated modern ML models demonstrate that SMLT outperforms the state-of-the-art VM based systems and existing serverless ML training frameworks in both training speed (up to 8X) and monetary cost (up to 3X)

研究の動機と目的

• 既存のサーバーレスプラットフォームが動的で長時間にわたるMLトレーニングワークフローをサポートする上で抱える制限を克服すること。
• ユーザーが指定するデッドラインと予算制約の下で、MLタスクの自動的かつ適応的なリソーススケジューリングを可能にすること。
• サーバーレスML実行における通信オーバーヘッド、関数タイムアウト制限、繰り返しの初期化を排除すること。
• サーバーレス環境におけるMLトレーニングのための明示的なフォールトトレランスとエンドツーエンドのワークフロー管理を提供すること。
• すべての主要なMLフレームワークをサポートする完全互換性があり、オープンソースのフレームワークを提供すること。

提案手法

• SMLT は、リアルタイムのトレーニングダイナミクスとワークロード要件に基づいて、動的にリソースを割り当て・スケーリングする自動的かつ適応的なスケジューリングメカニズムを採用している。
• 長時間にわたるトレーニングプロセスを、ネイティブの関数実行時間制限を超えて管理できる、細粒度で状態保持型のサーバーレス関数に分解している。
• 通信オーバーヘッドを低減するために、関数間通信と状態の永続化を可能にする軽量な協調レイヤーを実装している。
• モデル状態のチェックポイントを取ることでフォールトトレランスを実現し、障害発生時でも全トレーニングジョブの再処理を回避できる。
• トレーニングのデッドラインや予算制限といったユーザー定義制約をサポートし、それに応じてリソース割り当てを調整している。
• サーバーレスの複雑さを抽象化しながら、PyTorch や TensorFlow などの人気のあるMLフレームワークとの互換性を維持するエンドツーエンドのパイプラインとして設計されている。

実験結果

リサーチクエスチョン

• RQ1 サーバーレスコンピューティングは、固有のプラットフォーム制限があるにもかかわらず、長時間にわたる動的機械学習トレーニングワークフローを効果的にサポートできるか？
• RQ2 サーバーレスMLトレーニングにおける通信オーバーヘッドと関数初期化を最小限に抑えるために、どのようなスケジューリングおよび協調メカニズムが必要か？
• RQ3 サーバーレスフレームワークは、従来のVMベースおよび既存のサーバーレスMLシステムと比較して、優れたトレーニングパフォーマンスとコスト効率を達成できるか？
• RQ4 デッドラインや予算制限といったユーザー指定の制約を、完全に自動的かつ適応的なトレーニングシステムに統合するにはどうすればよいか？
• RQ5 状態なしのサーバーレス環境において、MLトレーニングのためのフォールトトレランスと状態管理を実現するためのアーキテクチャパターンは何か？

主な発見

• SMLT は、最先端のVMベースのシステムと比較して、最大8倍の高速なトレーニング速度を達成し、大規模モデルのトレーニング時間の大幅な短縮を実現している。
• SMLT は、既存のサーバーレスMLトレーニングソリューションおよびVMベースのベースラインと比較して、最大3倍のコスト削減を実現している。
• SMLT は、関数チェーンとチェックポイントによる協調的実行により、関数タイムアウトや状態なしの影響を効果的に軽減している。
• PyTorch や TensorFlow を含む主要なMLフレームワークとの高い互換性を維持しており、モデルやフレームワークの変更を一切必要としない。
• ユーザーが指定するトレーニングのデッドラインと予算制約は、動的リソース割り当てと適応的スケジューリングにより、効果的に満たされている。
• エンドツーエンドの評価により、SMLT が多様で大規模な現代のMLモデルにおいて、強固で効率的な性能を発揮することが確認された。