[論文レビュー] Desiderata for next generation of ML model serving

Sherif Akoush, Andrei Paleyes+2 more|arXiv (Cornell University)|Oct 26, 2022

Scientific Computing and Data Management被引用数 5

ひとこと要約

本論文は、次世代の機械学習モデルサービングプラットフォームのためのデータ中心設計フレームワークを提案する。推論パイプラインを最初に考慮したデータフロー・グラフ、コンポonent抽象化、同期／非同期ワークロードの両方をサポートする点に重点を置いている。クラウドとエッジへのシームレスなデプロイ、監視性、説明可能性、継続的学習、コンプライアンス、リソース効率性を提唱する。統合的・モジュラー的・拡張可能なシステムパターンを通じて、スケーラブルで効率的かつ信頼性の高いML推論を実現する。

ABSTRACT

Inference is a significant part of ML software infrastructure. Despite the variety of inference frameworks available, the field as a whole can be considered in its early days. This position paper puts forth a range of important qualities that next generation of inference platforms should be aiming for. We present our rationale for the importance of each quality, and discuss ways to achieve it in practice. We propose to focus on data-centricity as the overarching design pattern which enables smarter ML system deployment and operation at scale.

研究の動機と目的

• 推論がMLコンピューティングリソースの最大90％を占めるようになる中で、スケーラブルで効率的かつ信頼性の高いML推論システムの増大するニーズに対応する。
• 現在のMLサービングプラットフォームにおける深刻な欠陥を特定する。具体的には、監視性の不足、リアルタイムおよびエッジワークロードへの対応の悪さ、コンプライアンスおよびエネルギー会計の弱体性。
• データ中心設計を統合した、次世代のモデルサービングの包括的フレームワークを提案する。モジュラーで組み立て可能かつ拡張可能なシステムパターンを統合する。
• 継続的学習、説明可能性、環境持続可能性を支援する推論プラットフォームの構築に向けて、研究およびコミュニティ連携を促進する。

提案手法

• 実行時可視性を完全に得るために、フローベースドプログラミング（FBP）を用いたデータフロー最優先設計を採用し、推論パイプラインを実行可能なデータフロー・グラフとしてモデル化する。
• モデル定義とデプロイメントを分離するパイプラインコンポonent抽象化を導入し、複数の推論パイプラインにわたる再利用を可能にする。
• 同期（リクエスト・レスポンス）および非同期（ストリーミング）推論パターンの両方をサポートし、多様なデプロイメントニーズに対応するハイブリッドインターフェースを提供する。
• 標準化され、ポータブルで組み立て可能な推論コンポonentを通じて、クラウドおよびエッジ環境へのシームレスなデプロイを実現する。
• コンテキストに忡うドリフト検出や再帰的帰属分析を含む、高度な監視機能を統合し、説明可能性とデバッグを支援する。
• マルチモデルサービングと動的モデルオーバーコミットを組み合わせ、自動スケーリングおよびエネルギーに配慮したコスト会計を統合することで、リソース効率性を実現する。

実験結果

リサーチクエスチョン

• RQ1 推論プラットフォームは、実行時における中間データおよびデータフロー・グラフへのアクセスをどのように実現することで、完全な監視性とデバッグ能力を達成できるか？
• RQ2 複数のモデルを共有インフラ上で共存させるにあたり、リソースオーバーヘッドを最小限に抑えるために最適なアーキテクチャパターンは何か？
• RQ3 どのようにしてモデルサービングシステムが、低遅延・高スループット特性を持つバッチ処理およびストリーミング処理ワークロードの両方をネイティブにサポートできるか？
• RQ4 データプロバンスと説明可能性を、監査要件を満たすために推論パイプラインに体系的に統合する方法は何か？
• RQ5 継続的学習とアクティブ学習を本番推論と緊密に統合することで、時間経過に伴い自己更新され、高い性能を維持するモデルを実現するにはどうすればよいか？

主な発見

• 推論は、MLライフサイクル全体のエネルギー消費量の最大90％を占めることがあり、持続可能なデプロイメントのためには詳細なエネルギーおよびCO2メトリクスの測定が不可欠である。
• 動的リソースオーバーコミットを伴うマルチモデルサービングは、インfraストラクチャのオーバーヘッドを顕著に削減し、スケールアップにおける運用効率を向上させる。
• FBPを用いたデータフロー最優先設計により、中間データおよび完全なパイプライン可視性へのネイティブアクセスが可能となり、デバッグ、モニタリング、監視性が向上する。
• コンテキストに忡うドリフト検出と再帰的帰属分析により、より深いモデルの説明可能性が実現され、コンプライアンス要件の満たし方や運用上のトラブルシューティングが支援される。
• トレーニングパイプラインとのシームレスな統合により、継続的学習が可能となり、本番環境からのフィードバックに基づき、モデルが自動的に再訓練され、リリースされる仕組みが実現できる。
• 完全なデータプロバンス追跡を通じて「コンプライアンス・バイ・コンストラクション」を実現することで、モデル意思決定および入力感受性の監査可能性が達成できる。