[論文レビュー] Optimizing Prediction Serving on Low-Latency Serverless Dataflow

Vikram Sreekanti, Harikaran Subbaraj+3 more|arXiv (Cornell University)|Jul 11, 2020

Advanced Neural Network Applications参考文献 59被引用数 6

ひとこと要約

Cloudflow は、ブラックボックスモデルに対して自動的かつ透明な最適化（たとえば、オペレーターフュージョンや競合実行）を適用するサーバessなデータフロー システムであり、なじみやすい機能型 API を通じて低レイテンシの機械学習予測サービングを最適化する。実時間アプリケーションに求められる厳しいレイテンシ要件を満たしながら、最先端のシステムに比べて最大 2 倍のパフォーマンス向上を達成する。

ABSTRACT

Prediction serving systems are designed to provide large volumes of low-latency inferences machine learning models. These systems mix data processing and computationally intensive model inference and benefit from multiple heterogeneous processors and distributed computing resources. In this paper, we argue that a familiar dataflow API is well-suited to this latency-sensitive task, and amenable to optimization even with unmodified black-box ML models. We present the design of Cloudflow, a system that provides this API and realizes it on an autoscaling serverless backend. Cloudflow transparently implements performance-critical optimizations including operator fusion and competitive execution. Our evaluation shows that Cloudflow's optimizations yield significant performance improvements on synthetic workloads and that Cloudflow outperforms state-of-the-art prediction serving systems by as much as 2x on real-world prediction pipelines, meeting latency goals of demanding applications like real-time video analysis.

研究の動機と目的

• リアルタイム動画分析などのインタラクティブなアプリケーションにおける低レイテンシ・ハイプルーニング予測サービングの課題に対処すること。
• モデルの再実装やホワイトボックス アクセスを必要とせず、予測パイプラインのエンドツーエンド最適化を可能にすること。
• 予測不能なバーストワークロードに対応するための細粒度のオートスケーリングと効率的なリソース割り当てをサポートすること。
• 馴染みやすいデータフロー オペレータを用いた複雑な予測パイプラインの構築を可能にする開発者フレンドリーな機能型 API を提供すること。
• Pretzel のような高最適化ホワイトボックス システムとモジュール型マイクロサービスベースのシステムの間のギャップを埋め、ブラックボックス モデルでも最適化を可能にすること。

提案手法

• Cloudflow は、標準的なオペレータ（例：map、filter、union）を用いた機能型データフロー API を提供し、ブラックボックス ML モデルから予測パイプラインを構成する。
• Cloudburst と呼ばれるステートフルなサーバーレス FaaS プラットフォーム上で実行され、低レイテンシのステートアクセスと効率的な関数合成を実現する。
• システムは、オペレーターフュージョンや競合実行などのデータフロー最適化を自動的に適用し、レイテンシを低減し、スループットを向上させる。
• データフロー グラフの意味的構造を活用することで、ユーザーのモデルやフレームワークを変更せずに最適化を可能にする。
• Cloudflow は、Cloudburst を拡張し、細粒度のオートスケーリングと異種プロセッサ間での効率的なデータ伝達を実現する機能を追加する。
• システムは、パイプラインの正しさとデバッグ可能性を向上させるために、透過的な型チェックと受動的統計監視を実行する。

実験結果

リサーチクエスチョン

• RQ1 なじみやすいデータフロー API を用いてブラックボックス モデルの予測パイプラインを構築し、エンドツーエンド最適化を可能にできるか？
• RQ2 オペレーターフュージョンや競合実行などの自動的データフロー最適化は、実世界の予測ワークロードにおいてどの程度効果的か？
• RQ3 細粒度のオートスケーリングと低レイテンシ ステートアクセスを備えたサーバーレス バックエンドは、既存の予測サービング システムを上回れるか？
• RQ4 モデルの再実装や ML フレームワークの変更なしに、どの程度の最適化を透過的に行えるか？
• RQ5 リアルタイムアプリケーションに一般的なバースト的でインタラクティブなワークロード下で、システムはどの程度の性能を示すか？

主な発見

• Cloudflow は、画像カスケードや動画処理などの実世界ワークロードにおいて、最先端の予測サービング システムに比べて最大 2 倍のパフォーマンス向上を達成した。
• システムは、リアルタイム動画分析のような要求の厳しいアプリケーションに必要な低レイテンシ目標を満たしており、インタラクティブ利用に適していることが示された。
• オペレーターフュージョンや競合実行を含む自動最適化により、ユーザーの介入なしにエンドツーエンドのレイテンシが顕著に低減された。
• Cloudburst との統合により、効率的で細粒度のリソース割り当てと低レイテンシ ステートアクセスが実現され、インタラクティブワークロードにとって不可欠な要因となった。
• Cloudflow の透過的型チェックと受動的統計監視により、型エラーを発生させることなくパイプラインの異常を検出できるようになった。
• 合成ワークロードおよび実世界ワークロードの評価から、最適化が有効であり、多様な予測パイプラインのパターンに広く適用可能であることが確認された。