[論文レビュー] Reusable MLOps: Reusable Deployment, Reusable Infrastructure and Hot-Swappable Machine Learning models and services

Deven Panchal, Priyanka Verma+3 more|arXiv (Cornell University)|Feb 19, 2024

Distributed and Parallel Computing Systems被引用数 5

ひとこと要約

この論文は Acumos AI プラットフォームを通じた Reusable MLOps を提示し、再利用可能なデプロイ、再利用可能なインフラストラクチャ、およびホットスワップ可能な ML モデルを実現して、インフラを破壊することなくモデルを継続的にプロダクション化する。

ABSTRACT

Although Machine Learning model building has become increasingly accessible due to a plethora of tools, libraries and algorithms being available freely, easy operationalization of these models is still a problem. It requires considerable expertise in data engineering, software development, cloud and DevOps. It also requires planning, agreement, and vision of how the model is going to be used by the business applications once it is in production, how it is going to be continuously trained on fresh incoming data, and how and when a newer model would replace an existing model. This leads to developers and data scientists working in silos and making suboptimal decisions. It also leads to wasted time and effort. We introduce the Acumos AI platform we developed and we demonstrate some unique novel capabilities that the Acumos model runner possesses, that can help solve the above problems. We introduce a new sustainable concept in the field of AI/ML operations - called Reusable MLOps - where we reuse the existing deployment and infrastructure to serve new models by hot-swapping them without tearing down the infrastructure or the microservice, thus achieving reusable deployment and operations for AI/ML models while still having continuously trained models in production.

研究の動機と目的

• データサイエンティストと開発者の間の ML/AI パイプラインにおける運用化の課題と分断を動機づける。
• 複数のモデルのデプロイとインフラを再利用するための Reusable MLOps の概念を紹介する。
• Acumos がダウンタイムなしに本番モデルのホットスワップと継続的再学習を可能にする方法を実証する。
• モデル共有と再利用を促進するガバナンス、ライセンス、およびマーケットプレイスの側面を強調する。

提案手法

• モデルのオンボーディングとデプロイのための Acumos プラットフォームとその構成要素（Model Runner、Java client、Design Studio）を説明する。
• モデルがどのようにエクスポートされるか（MOJO zip、jar）と、Model Runner を介して共通の Acumos マイクロサービスにラップされるかを説明する。
• 低遅延・言語中立なデータ交換と JVM の動的クラス読み込みを実現するための Protobuf シリアライズの使用方法を示す。
• Acumos Model Runner の API 表面と、エンドポイントがモデルの置換、プロト更新、オンザフライの動作変更をどのように可能にするかを詳述する。
• Kubernetes、AWS、Azure、GCP、またはスタンドアロン Docker デプロイメントへのデプロイパスと、サービス間でのモデル再利用を説明する。

Figure 1: Acumos Web Interface

実験結果

リサーチクエスチョン

• RQ1 サービスを停止せずに、複数の ML モデル間でモデルのデプロイとインフラを再利用するにはどうすればよいか？
• RQ2 本番環境でモデルをホットスワップしたり、モデルの挙動を変更したりするために、Acumos Model Runner はどのような機能を提供するか？
• RQ3 ML パイプラインは本番環境で継続的トレーニングとスムーズなモデル置換をどのようにサポートできるか？
• RQ4 再利用可能な MLOps フレームワークにおいて、ML モデルの共有と収益化を支えるガバナンス、ライセンス、連合機構は何か？

主な発見

• Acumos Model Runner は、待機中のマイクロサービス内でダウンタイムなしにモデルのホットスワッピングを可能にします。
• モデルは共通の Acumos マイクロサービスにラップされ、豊富な API 表面を介して更新または置換できます。
• Protobuf ベースのシリアライズは、低遅延の言語間データ交換とモデルアーティファクトの動的クラス読み込みをサポートします。
• このプラットフォームは、ホストされたモデルを一般的なクラウドおよびコンテナ実行環境にデプロイすることをサポートし、再利用可能なデプロイとインフラの再利用を促進します。
• Design Studio と Java クライアントは、H2O、Java、または Spark から本番運用向けのマイクロサービスへモデルのオンボーディングを合理化します。

Figure 2: A Machine Learning model being onboarded to Acumos