[論文レビュー] ApproxNet: Content and Contention-Aware Video Analytics System for Embedded Clients

Ran Xu, Rakesh Kumar+6 more|arXiv (Cornell University)|Aug 28, 2019

Advanced Neural Network Applications参考文献 86被引用数 10

ひとこと要約

ApproxNet は、1 つの DNN に 2 つのランタイム近似スイッチ（入力解像度とネットワーク深さ）を内蔵した動的でコンテンツおよびコンテンツ競合状態に適応する動的ビデオオブジェクト分類システムであり、変化するコンテンツの複雑さとリソースの競合状態に応じたリアルタイムな適応が可能である。エッジデバイス上で、ResNet や MCDNN、MobileNets、NestDNN、MSDNet よりも優れた精度と遅延を実現しながら、安定した推論遅延（30 fps）を達成する。

ABSTRACT

Videos take a lot of time to transport over the network, hence running analytics on the live video on embedded or mobile devices has become an important system driver. Considering that such devices, e.g., surveillance cameras or AR/VR gadgets, are resource constrained, creating lightweight deep neural networks (DNNs) for embedded devices is crucial. None of the current approximation techniques for object classification DNNs can adapt to changing runtime conditions, e.g., changes in resource availability on the device, the content characteristics, or requirements from the user. In this paper, we introduce ApproxNet, a video object classification system for embedded or mobile clients. It enables novel dynamic approximation techniques to achieve desired inference latency and accuracy trade-off under changing runtime conditions. It achieves this by enabling two approximation knobs within a single DNN model, rather than creating and maintaining an ensemble of models (e.g., MCDNN [MobiSys-16]. We show that ApproxNet can adapt seamlessly at runtime to these changes, provides low and stable latency for the image and video frame classification problems, and show the improvement in accuracy and latency over ResNet [CVPR-16], MCDNN [MobiSys-16], MobileNets [Google-17], NestDNN [MobiCom-18], and MSDNet [ICLR-18].

研究の動機と目的

• リソース制限のある組み込みおよびモバイルデバイスで、最先端の DNN が計算コストが高すぎるため、リアルタイムのビデオ分析を実行する課題に対処すること。
• コンテンツの複雑さの変化やリソースの競合状態といった動的ランタイム条件に適応できない既存の近似技術の限界を克服すること。
• 精度と計算コストのバランスを保ちながら、低く安定した推論遅延（例：30 fps）を維持するためのシームレスなランタイム適応を可能にすること。
• 複数のモデル（例：モデルアンサンブル）を維持する必要をなくすために、1 つの DNN アーキテクチャ内に「入力解像度」と「ネットワーク深さ」の 2 つの近似スイッチを統合すること。
• クラウドやエッジオフロードに依存せずに、リアルタイムのコンテンツ変化およびシステム負荷変化に応じて反応できる、実用的でエンドツーエンドのオンデバイスビデオ分析ソリューションを提供すること。

提案手法

• 1 つの DNN モデル内に、入力解像度のスケーリングと中間層での早期終了という 2 つの近似スイッチを統合し、動的推論適応を可能にする。
• コンテンツに適応するメカニズムを用いて、コンテンツが単純な場合にフレームをダウンサンプリングし、計算負荷を低減しながらも精度を維持する。
• コンテンツ競合状態に適応するランタイム監視を適用し、CPU/GPU の負荷やメモリ帯域幅などのリアルタイムのリソース利用状況に基づいて近似レベルを調整する。
• 各フレームにおける解像度および深さの調整が与える影響を評価する予測モデルを用いて、推論遅延と精度のトレードオフを推定する。
• コンテンツの複雑さとシステムの競合状態に基づき、フレームごとに最適な近似レベルを動的に選択し、エンドツーエンドの遅延 SLO を満たす。
• 複数の推論パス（異なる入力サイズとネットワーク深さ）をサポートする統一された DNN アーキテクチャを活用し、モデル切り替えやアンサンブル管理のオーバーヘッドを回避する。

実験結果

リサーチクエスチョン

• RQ1 1 つの DNN モデルが、リアルタイムのコンテンツ特性とシステムリソースの競合状態に応じて、推論戦略を動的に調整し、低く安定した遅延を維持できるか。
• RQ2 入力解像度のスケーリングと早期終了の組み合わせが、組み込みデバイス上で推論遅延と分類精度のバランスをどのように達成できるか。
• RQ3 さまざまなランタイム条件下で、ApproxNet が既存の最先端モデル（例：ResNet、MCDNN、MobileNets）をどの程度上回るか。
• RQ4 複数の事前学習済みモデルアンサンブルを必要とせずに、多様な動画コンテンツタイプ（単純なフレーム vs. 複雑なフレーム）で一貫したパフォーマンスを維持できるか。
• RQ5 ライブ動画処理中にデバイスワークロードやリソース利用状態が変化する際、システムの適応的近似メカニズムはどのように反応するか。

主な発見

• ApproxNet は、NVIDIA Jetson TX2 などの組み込みデバイスで 30 fps の安定した推論遅延を達成しており、ResNet（1 フレームあたり 101 ms） や MCDNN より顕著に優れている。
• 複雑な動画フレームにおいて、MobileNets より最大 40%、MCDNN より最大 30% の遅延削減を実現しながら、精度を維持または向上させている。
• 必要に応じてより深い推論パスを活用することで、MCDNN や NestDNN よりも複雑なフレームで最大 12% の精度向上を達成している。
• コンテンツおよびコンテンツ競合状態に適応する動的適応メカニズムにより、モデルアンサンブルの必要性が低減され、複数モデルの維持に伴うメモリおよび計算オーバーヘッドが排除された。
• ApproxNet は多様な動画コンテンツに対して高いロバスト性を示し、低解像度入力で単純なフレームを正しく分類し、フルディープネス推論で複雑なフレームを処理することで、一貫したパフォーマンスを確保している。
• 遅延-精度トレードオフのための予測モデルにより、最小限のランタイムオーバーヘッドでリアルタイム意思決定が可能となり、リアルタイム AR/VR や監視アプリケーションに適している。