[論文レビュー] Serverless inferencing on Kubernetes

Clive Cox, Dan Sun+4 more|arXiv (Cornell University)|Jul 14, 2020

Scientific Computing and Data Management参考文献 5被引用数 7

ひとこと要約

この論文では、Kubernetes および KNative に基づいて構築されたサーバessな機械学習推論フレームワーク、KFServing を提示する。このフレームワークは、自動スケーリング、マルチフレームワーク対応、データサイエンティストのための一貫したモデルデプロイメントを可能にする。サーバーレスパラダイムにより、使用量が少ない間はモデルをゼロにスケーリングすることでインfraストラクチャコストを削減するが、実運用ワークロードにおける GPU の自動スケーリング、レイテンシ、バッチ処理、サービスメッシュのオーバーヘッドといった課題に対処する。

ABSTRACT

Organisations are increasingly putting machine learning models into production at scale. The increasing popularity of serverless scale-to-zero paradigms presents an opportunity for deploying machine learning models to help mitigate infrastructure costs when many models may not be in continuous use. We will discuss the KFServing project which builds on the KNative serverless paradigm to provide a serverless machine learning inference solution that allows a consistent and simple interface for data scientists to deploy their models. We will show how it solves the challenges of autoscaling GPU based inference and discuss some of the lessons learnt from using it in production.

研究の動機と目的

• スケールした機械学習モデルのデプロイメントにおける一貫性と低コストなインfraストラクチャの課題に対処する。
• TensorFlow、PyTorch、XGBoost などの多様な ML フレームワークをカバーする統一インターフェースを通じて、データサイエンティストがモデルをデプロイできるようにする。
• モデルのバージョニング、キャニオンおよびシャドー デプロイ、リアルタイム監視を含む、実運用上の課題を解決する。
• 使用頻度が低い、または周期的なワークロードを持つモデルにおいて、アイドル期間中にゼロへの自動スケーリングによりインfraストラクチャコストを削減する。
• Kubernetes 環境におけるバッチ処理とリソース利用率の最適化を通じて、GPU ベースの推論のスケーラビリティと効率性を向上させる。

提案手法

• Kubernetes 上のサーバーレス基盤として KNative を活用し、イベント駆動型でゼロへのスケーリングが可能なモデルサービングを実現する。
• リアルタイムの処理中リクエストのメトリクス収集のためのサイドカー プロキシ（queue-proxy）を統合し、自動スケーリングの意思決定に活用する。
• 一貫した API と抽象化レイヤーを介して複数の ML フレームワークをサポートし、データサイエンティストのデプロイメントの複雑さを低減する。
• Istio サービスメッシュを活用してトラフィック管理、可観測性、モデル推論サービス間のセキュアな通信を実現する。
• GPU 利用率を最大化し、1リクエストあたりのレイテンシを削減するために、推論リクエストの動的バッチ処理を実装する。
• K8s ネイティブなメカニズムと Istio のトラフィック スプリッティングを活用して、安全なモデル更新のためのキャニオンおよびシャドー デプロイを可能にする。

実験結果

リサーチクエスチョン

• RQ1 どのようにしてサーバーレス原則を機械学習推論に効果的に適用することで、実運用環境におけるインfraストラクチャコストを削減できるか？
• RQ2 GPU 環境で大規模モデル（例：GPT-2）をゼロから自動スケーリングする場合、パフォーマンスとレイテンシのトレードオフはどのようなものか？
• RQ3 多様な ML フレームワーク間で一貫したデプロイメントおよび監視インターフェースを実現するにはどうすればよいか？
• RQ4 サービスメッシュ（Istio）環境で数百～数千ものモデル推論サービスを管理する際の運用上の課題は何か？
• RQ5 リアルタイムでドリフト、外れ値、悪意ある入力を検出できるように、モデル監視を自動化しスケーラブルにすることは可能か？

主な発見

• KFServing は、TensorFlow、PyTorch、XGBoost などのフレームワークを一元的に扱う統一 API を通じて、機械学習モデルのフレームワークに依存しない一貫したデプロイメントを可能にする。
• KNative と Istio の活用により、ゼロへの効率的なスケーリングが実現され、使用頻度が低いモデルのアイドル状態におけるインfraストラクチャコストを顕著に削減できる。
• GPU の自動スケーリングは効果的だが、Linux CFS スケジューリングのバグにより CPU のスロットリングが発生し、尾部レイテンシが増加する可能性があり、注意深い監視が不可欠である。
• サーバーレスモデルにおける初期リクエストのレイテンシは、特に大規模モデル（5–30GB）のロード時間の影響で、低レイテンシワークロードには制限的であり、ゼロへのスケーリングの利点が制限されることがある。
• 動的バッチ処理は GPU のスループットを向上させるが、トラフィック パatters に応じたチューニングが必要である。最適でないバッチサイズでは応答レイテンシが増加する。
• 大規模なサービスメッシュデプロイ（例：100～1000台のモデル）ではメモリおよびコントロールプレーンのオーバーヘッドが増加するが、Istio 1.5 のコントロールプレーンの統合（istiod への統合）により管理の複雑さが軽減される。