[論文レビュー] STRATUM: A Serverless Framework for the Lifecycle Management of Machine Learning-based Data Analytics Tasks

Anirban Bhattacharjee, Yogesh Barve+4 more|arXiv (Cornell University)|Jan 1, 2019

IoT and Edge/Fog Computing参考文献 6被引用数 6

ひとこと要約

Stratum は、クラウド、フォッグ、エッジ環境にまたがる機械学習ベースのデータ分析ワークフローのライフサイクル管理を自動化するサーバーヲスフレームワークです。Stratum は、データインジェスト、バッチ処理、ストリーミング、推論、可視化ツールの動的スケジューリングとオーケストレーションを実行し、インfra 構成の非均一性とリソース管理の抽象化により、導入の複雑さと運用コストを低減します。

ABSTRACT

With the proliferation of machine learning (ML) libraries and frameworks, and the programming languages that they use, along with operations of data loading, transformation, preparation and mining, ML model development is becoming a daunting task. Furthermore, with a plethora of cloud-based ML model development platforms, heterogeneity in hardware, increased focus on exploiting edge computing resources for low-latency prediction serving and often a lack of a complete understanding of resources required to execute ML workflows efficiently, ML model deployment demands expertise for managing the lifecycle of ML workflows efficiently and with minimal cost. To address these challenges, we propose an end-to-end data analytics, a serverless platform called Stratum. Stratum can deploy, schedule and dynamically manage data ingestion tools, live streaming apps, batch analytics tools, ML-as-a-service (for inference jobs), and visualization tools across the cloud-fog-edge spectrum. This paper describes the Stratum architecture highlighting the problems it resolves.

研究の動機と目的

• 異種のコンピューティング環境における多様な ML ライブラリ、フレームワーク、データパイプラインを管理する上での複雑さに対処すること。
• 分散システムにおける ML ワークフローを効率的にデプロイおよび管理するために必要な運用負担と専門知識を軽減すること。
• 最小限の手動設定で、クラウド・フォッグ・エッジの連続体にまたがるバッチ処理、ストリーミング、推論ワークロードをシームレスに実行できること。
• 動的リソース割り当てを伴う、多様なデータ分析および ML タスクをオーケストレーションするための統一的でサーバーレスな抽象化を提供すること。
• 異種のインfra 構成にまたがるリソースプロビジョニングとワークロードスケジューリングを知的に管理することで、デプロイおよび運用コストを最小限に抑えること。

提案手法

• ML ワークフローの論理と下位のインfra ストレージおよび管理を分離する統一されたサーバーレス抽象化レイヤーの設計。
• 単一のオーケストレーションフレームワーク内で、複数のデータインジェストツール、バッチ分析、リアルタイムストリーミングアプリケーション、ML 推論サービスの統合を実現。
• 遅延、リソース利用可能性、データローカリティに基づいて、クラウド、フォッグ、エッジ ノード間での動的スケジューリングとワークロード配置を実装。
• コンテナ化された実行環境と ML コンponent 用の標準化インターフェースを通じて、ハードウェアおよびソフトウェアの非均一性を抽象化。
• 恒久的なインfra なしで、ML ベースの分析タスクのプロビジョニング、実行、監視、クリーニングのライフサイクル管理を自動化。
• 可視化および監視ツールをワークフロー パイプラインの最初等のコンポーネントとしてサポートし、エンドツーエンドの可視性を向上。

実験結果

リサーチクエスチョン

• RQ1 サーバーレスフレームワークは、異種のクラウド・フォッグ・エッジ環境にまたがる多様な ML ベースのデータ分析ワークフローのライフサイクルを効果的に管理できるか？
• RQ2 統一プラットフォーム上で、バッチ処理、ストリーミング、推論ワークロードの動的スケジューリングとリソース割り当てを可能にするアーキテクチャパターンは何か？
• RQ3 インfra 構成の複雑さを抽象化することで、ML デプロイ パイプラインにおける運用負担とコストをどれほど軽減できるか？
• RQ4 1つのフレームワークが、データインジェスト、変換、モデル推論、可視化を含むエンドツーエンドのデータ分析パイプラインをどれほど効果的にサポートできるか？
• RQ5 分散的かつ異種の実行環境において、効率的なワークロード配置とパフォーマンスの隔離を保証するメカニズムは何か？

主な発見

• Stratum はインfra の非均一性を効果的に抽象化し、低レベルの設定なしでクラウド、フォッグ、エッジ ノードにまたがる ML ワークフローのシームレスなデプロイを可能にした。
• フレームワークは、ML およびデータ分析コンponent のプロビジョニング、スケジューリング、クリーニングの自動化により、運用の複雑さを低減した。
• クラウド・フォッグ・エッジ スタック全体での動的ワークロードスケジューリングにより、遅延に敏感な推論およびストリーミングワークロードの応答時間とリソース利用効率が向上した。
• サーバーレス抽象化により、開発者はインfra ではなく論理に集中でき、デプロイのスピードアップと生産までの時間短縮が実現した。
• 可視化および監視ツールをワークフロー パイプラインに統合することで、ML パイプラインの可視性とデバッグ能力が向上した。
• プラットフォームは、分散的かつ異種の環境におけるエンドツーエンドの ML 分析ワークフローの実現可能性とスケーラビリティを示した。