[論文レビュー] FastVA: Deep Learning Video Analytics Through Edge Processing and NPU in Mobile

Tianxiang Tan, Guohong Cao|arXiv (Cornell University)|Jan 13, 2020

IoT and Edge/Fog Computing参考文献 27被引用数 4

ひとこと要約

FastVA は、動的かつリアルタイムにエッジオフロードとニューラルプロセッシングユニット（NPU）アクセラレーションを統合することで、ディープラーニング推論を最適化するモバイル動画分析フレームワークである。精度志向および利便性志向のスケジューリングを整数計画問題として定式化し、ヒューリスティック解法を適用することで、高ネットワーク遅延下でもオフロードより最大30%高い精度を達成し、さまざまなネットワーク状態において、ローカル実行およびベースライン手法を上回る精度とフレームレートを実現した。

ABSTRACT

Many mobile applications have been developed to apply deep learning for video analytics. Although these advanced deep learning models can provide us with better results, they also suffer from the high computational overhead which means longer delay and more energy consumption when running on mobile devices.To address this issue, we propose a framework called FastVA, which supports deep learning video analytics through edge processing and Neural Processing Unit (NPU) in mobile. The major challenge is to determine when to offload the computation and when to use NPU. Based on the processing time and accuracy requirement of the mobile application, we study two problems: Max-Accuracy where the goal is to maximize the accuracy under some time constraints, and Max-Utility where the goal is to maximize the utility which is a weighted function of processing time and accuracy. We formulate them as integer programming problems and propose heuristics based solutions. We have implemented FastVA on smartphones and demonstrated its effectiveness through extensive evaluations.

研究の動機と目的

• モバイルデバイスにおけるディープラーニングモデルの高い計算負荷が引き起こす長時間の遅延と高エネルギー消費を解消すること。
• 劣悪なネットワーク下で遅延が生じやすいエッジオフロード（正確だが遅延が大きい）と、NPU によるローカル推論（高速だが精度が低い）の間のトレードオフを分析すること。
• リアルタイムのネットワーク状態とアプリケーション固有の精度／時間要件に基づき、NPU とエッジサーバー間で動画フレームを知的にスケジューリングするフレームワークを設計すること。
• 2つの最適化問題を定式化・解法する：Max-Accuracy（時間制約下での精度最大化）と Max-Utility（精度と処理時間の重み付き関数の最大化）

提案手法

• 時間制約下で各フレームの処理ノード（NPU またはエッジ）を最適選択する整数計画問題として Max-Accuracy 問題を定式化する。
• Max-Accuracy のためのヒューリスティック解法を提案し、ネットワーク遅延が低い場合はオフロードを優先し、遅延が高い場合は NPU を優先する。フレーム処理時間と精度のトレードオフに基づく。
• Max-Utility 問題を、精度とフレームレートを組み合わせた重み付き利便性関数としてモデル化し、調整可能なパrameter α を用いて両者をバランスさせる。
• 近似に基づくヒューリスティックを提案し、ネットワーク帯域幅とアップロード遅延に応じて、ローカル NPU 処理とエッジオフロードの間で適応的に切り替える。
• リアルタイムのネットワーク監視（帯域幅、アップロード遅延）とモデルの特徴（サイズ、精度、NPU／CPU での実行時間）を活用してスケジューリング意思決定を支援する。
• スマートフォンに FastVA を実装し、さまざまなフレームレート、アップロード遅延、ネットワーク状態下でベースライン手法（Local、Offload、DeepDecision、Optimal）と比較評価した。

実験結果

リサーチクエスチョン

• RQ1 限られた計算リソースを持つモバイルデバイスで、ディープラーニングを用いた動画分析をどのように高速化できるか？
• RQ2 変動するネットワーク状態下で、NPU によるローカル推論とエッジオフロードの最適なトレードオフは何か？
• RQ3 時間制約下で、NPU とエッジサーバー間で動画フレームをどのように動的にスケジューリングすれば、精度を最大化できるか？
• RQ4 リアルタイムのモバイル動画分析において、精度と処理時間をバランスさせる統合的利便性指標をどのように最適化できるか？
• RQ5 現実のネットワーク変動を想定した場合、純粋なローカル処理やオフロードのみのアプローチと比較して、ハイブリッド NPU-エッジ戦略の性能向上はどの程度か？

主な発見

• アップロード遅延が高くなる（例：300 ms）と、Offload 法はフレーム損失のため顕著な精度低下（最大30%）を示すが、FastVA の Max-Accuracy ヒューリスティックは NPU 処理に切り替えることで高い精度を維持する。
• ネットワーク帯域幅が低い状態では、Offload 法は著しく性能を低下させ、場合によってはローカル処理を下回ることすらあるが、FastVA の Max-Utility ヒューリスティックはネットワーク状態に適応することで高い利便性を維持する。
• 30 fps でアップロード遅延が 100 ms の状態では、FastVA の Max-Utility は Offload、Local、DeepDecision を最大25%上回る利便性を達成し、特に精度を重視するパrameter α が高い場合に顕著である。
• フレームレートを 30 fps から 50 fps に引き上げた場合、FastVA は高い利便性とフレームレートを維持し、特に α が低い（速度を重視する）場合に、Offload や DeepDecision を上回る性能を示す。
• アップロード遅延が増加するに従い、FastVA の Max-Utility および Max-Accuracy ヒューリスティックは、Offload や DeepDecision よりも劣化が遅く、ネットワークジターレスポンスに強い。
• 全探索により計算された Optimal 解は上界として機能し、FastVA のヒューリスティックは実際の運用でその 90–95% の性能を達成した。