[論文レビュー] A Serverless Cloud-Fog Platform for DNN-Based Video Analytics with Incremental Learning

Huaizheng Zhang, Meng Shen+5 more|arXiv (Cornell University)|Feb 5, 2021

Video Surveillance and Tracking Methods参考文献 26被引用数 16

ひとこと要約

本論文では、DNNベースの動画分析に適したサーバessなクラウド・フォグプラットフォームであるVPaaSを提案する。軽量プロトコルと段階的学習を用いて知能的な動画処理をフォグノードにオフロードすることで、帯域幅、レイテンシ、コストを削減する。最新の技術と比較して、RTTは最大62.5%低減、帯域幅は21%削減、クラウドコストは50%低減されるが、人間によるフィードバックによるモデル最適化により高い精度を維持する。

ABSTRACT

DNN-based video analytics have empowered many new applications (e.g., automated retail). Meanwhile, the proliferation of fog devices provides developers with more design options to improve performance and save cost. To the best of our knowledge, this paper presents the first serverless system that takes full advantage of the client-fog-cloud synergy to better serve the DNN-based video analytics. Specifically, the system aims to achieve two goals: 1) Provide the optimal analytics results under the constraints of lower bandwidth usage and shorter round-trip time (RTT) by judiciously managing the computational and bandwidth resources deployed in the client, fog, and cloud environment. 2) Free developers from tedious administration and operation tasks, including DNN deployment, cloud and fog's resource management. To this end, we implement a holistic cloud-fog system referred to as VPaaS (Video-Platform-as-a-Service). VPaaS adopts serverless computing to enable developers to build a video analytics pipeline by simply programming a set of functions (e.g., model inference), which are then orchestrated to process videos through carefully designed modules. To save bandwidth and reduce RTT, VPaaS provides a new video streaming protocol that only sends low-quality video to the cloud. The state-of-the-art (SOTA) DNNs deployed at the cloud can identify regions of video frames that need further processing at the fog ends. At the fog ends, misidentified labels in these regions can be corrected using a light-weight DNN model. To address the data drift issues, we incorporate limited human feedback into the system to verify the results and adopt incremental learning to improve our system continuously. The evaluation demonstrates that VPaaS is superior to several SOTA systems: it maintains high accuracy while reducing bandwidth usage by up to 21%, RTT by up to 62.5%, and cloud monetary cost by up to 50%.

研究の動機と目的

• クライアント・フォグ・クラウドの連携を活用することで、DNNベースの動画分析における高い帯域幅使用量と長いRTTを低減すること。
• 知的なリソースオーケストレーションにより、クラウドベースの動画分析における運用コストとインfraコストを低減すること。
• サーバーレス関数ベースのパイプライン構成を可能にすることで、開発者を低レベルのシステム管理から解放すること。
• 人間によるフィードバックを組み込んだ段階的学習を用いて、実世界の動画分析におけるデータドリフトを軽減すること。
• 動的ワークロードやネットワーク障害下でも、障害耐性とスケーラビリティを確保すること。

提案手法

• クラウドに送信する動画を低画質に制限することで帯域幅消費を削減する、画期的な動画ストリーミングプロトコルの設計。
• クライアント、フォグ、クラウドの各層に跨る動画前処理、推論、後処理のためのサーバーレス関数をオーケストレーションすること。
• クラウドに高性能なDNNをデプロイし、フォグ層でさらに処理が必要な領域を特定すること。
• フォグノードに軽量DNNモデルを配置し、クラウドの予測結果の誤検出ラベルを是正すること。
• 結果の検証と継続的な性能向上のための段階的モデル学習を目的とした、人間によるフィードバックの統合。
• 推論と段階的学習の両方の目的で共有GPUを使用することで、クラウドコストを最小限に抑え、リソース競合を回避すること。

実験結果

リサーチクエスチョン

• RQ1 DNNベースの動画分析において、正確性を損なわずに帯域幅使用量とRTTを最小限に抑えるには、クラウド・フォグアーキテクチャをどのように設計すべきか？
• RQ2 サーバーレスコンピューティングは、動画分析パイプラインのデプロイと管理をどの程度簡素化できるか？
• RQ3 人間によるフィードバックを伴う段階的学習は、実世界の動画分析におけるデータドリフトの軽減にどの程度効果的か？
• RQ4 ハイブリッドなクライアント・フォグ・クラウドシステムは、ネットワーク障害やクラウド障害発生時でもサービス継続性を維持できるか？
• RQ5 動的ワークロードや変動するネットワーク状態下で、システムはどの程度スケーラブルか？

主な発見

• VPaaSは、クラウドに送信する動画を低画質に制限することで、最新技術と比較して最大21%の帯域幅使用量削減を達成する。
• クラウド依存度を最小限に抑え、近接するフォグノードに処理をオフロードすることで、RTTを最大62.5%低減する。
• 最適化されたリソース利用と推論・学習の両方で共有GPUを使用することで、クラウドの金銭的コストを最大50%削減する。
• 人間によるフィードバックを伴う段階的学習により、モデルの正確性が時間経過とともに向上し、GPU使用率が15%上昇し、学習時の遅延オーバーヘッドはわずか0.5秒にとどまる。
• クラウド障害時でも、フォグ層で軽量なYOLOv3モデルに切り替えることで、サービスの継続性を維持し、遅延を低く保つ。ただし、正確性は若干低下する。
• 動的スケーリングが実現され、ワークロードの増加に応じてGPU割り当てが増加し、高密度の動画トラフィック下でも低遅延を維持する。