[論文レビュー] ModelCI-e: Enabling Continual Learning in Deep Learning Serving Systems

Yizheng Huang, Huaizheng Zhang+3 more|arXiv (Cornell University)|Jun 6, 2021

Domain Adaptation and Few-Shot Learning参考文献 16被引用数 6

ひとこと要約

ModelCI-e は、モデルファクトリ、CLバックエンド、共同作業可能なWebインターフェースを統合することで、ディープラーニング推論システムにおける継続的学習を可能にする軽量でプラグインベースのMLOpsシステムです。サービングエンジンのカスタマイズを必要とせず、モデルの更新と検証を自動化することで、運用の負荷を著しく軽減し、トレーニングと推論ワークロードの干渉を最小限に抑えることで、システムの効率性を向上させます。

ABSTRACT

MLOps is about taking experimental ML models to production, i.e., serving the models to actual users. Unfortunately, existing ML serving systems do not adequately handle the dynamic environments in which online data diverges from offline training data, resulting in tedious model updating and deployment works. This paper implements a lightweight MLOps plugin, termed ModelCI-e (continuous integration and evolution), to address the issue. Specifically, it embraces continual learning (CL) and ML deployment techniques, providing end-to-end supports for model updating and validation without serving engine customization. ModelCI-e includes 1) a model factory that allows CL researchers to prototype and benchmark CL models with ease, 2) a CL backend to automate and orchestrate the model updating efficiently, and 3) a web interface for an ML team to manage CL service collaboratively. Our preliminary results demonstrate the usability of ModelCI-e, and indicate that eliminating the interference between model updating and inference workloads is crucial for higher system efficiency.

研究の動機と目的

• 生産環境におけるディープラーニングシステムのコンセプトドリフトの課題に対処するため、継続的なモデル更新を可能にする。
• 研究チームとDevOpsチームにおけるモデルデプロイメントおよび保守作業における人的作業の負担を軽減する。
• TensorFlow Serving や Clipper などの既存のサービングシステムへの継続的学習のシームレスな統合経路を提供する。
• 共有MLクラスタにおける並列実行中のトレーニングと推論ワークロードの干渉を最小限に抑える。
• ML研究者とプロダクションエンジニア間のエンドツーエンドの協働を、統合されたWebインターフェースを通じて支援する。

提案手法

• ModelCI-e は、PyTorch などの一般的なディープラーニングフレームワークを用いて、CL研究者が最小限のコードでモデルをプロトタイプ化およびベンチマークできるモデルファクトリを導入する。
• CLバックエンドを活用して、本番環境におけるモデルトレーニング、検証、デプロイメントワークフローの自動化とオーケストレーションを実現する。
• 構成テンプレートを介して既存のサービングエンジンと統合され、エンジンの変更なしにプラグイン方式のデプロイメントが可能になる。
• Webベースのダッシュボードはロールベースの協働を支援し、リアルタイムのサービス状態、更新履歴、モデルカード、検証レポートを表示する。
• モデルカードには、ベンチマーク指標（例：正確度、モデルサイズ効率）、トレーニングデータ統計、再現性のためのSQLクエリが含まれる。
• ドリフトの大きさを監視し、パフォーマンス低下の兆候を提供することで、事前のモデル更新を可能にする。

実験結果

リサーチクエスチョン

• RQ1 低レベルのエンジン変更を要せず、既存のディープラーニングサービングシステムに継続的学習を効率的に統合する方法は何か？
• RQ2 生産クラスタにおける共有GPUリソース上で、並列実行中のトレーニングと推論ジョブがもたらすパフォーマンスへの影響は何か？
• RQ3 ML研究者とDevOpsエンジニア間の協働ワークフローを、継続的モデル更新のためにどのように簡素化できるか？
• RQ4 共有クラスタ環境において、モデル更新が推論遅延とトレーニングスループットに与える干渉の程度はどの程度か？
• RQ5 統合的で軽量なプラグインシステムは、継続的学習デプロイメントにおいて運用の負荷を軽減しながらも、高いシステム効率を維持できるか？

主な発見

• ModelCI-e は、統合されたWebインターフェースを通じた研究者とエンジニア間の自動化・共同作業ワークフローを可能にすることで、モデル更新における人的作業の負担を著しく軽減した。
• 本システムは、モデル更新と推論ワークロードの干渉が顕著に顕在することを示した。Faster R-CNN モデルをトレーニングすると、95パーセンタイルの推論遅延が3倍以上に増加した。
• 並列での推論とトレーニングはGPU利用効率を低下させ、リソース競合のため、1エポックあたりのトレーニング遅延が1.31倍から2.74倍にまで増加した。
• 本システムのアーキテクチャは、モデル開発とデプロイメントを効果的に分離しており、研究者がCLモデルをプロトタイプ化し、エンジニアが生産環境への展開をスムーズに管理できる。
• 予備的な結果から、トレーニングと推論の干渉を排除することが、継続的学習システムにおける高いシステム効率を達成する上で極めて重要であることが示された。
• モデルカード機能により、トレーニングデータ統計、損失関数、データクローリングおよび検証用のSQLクエリをログに記録することで、完全な再現性が実現された。