[論文レビュー] NoScope: Optimizing Neural Network Queries over Video at Scale

Daniel Kang, John Emmons+3 more|arXiv (Cornell University)|Mar 7, 2017

Advanced Neural Network Applications参考文献 86被引用数 47

ひとこと要約

NoScope は、特定の動画およびオブジェクトクラスに特化したモデルと差分検出器のカスケードを自動的に探索・訓練することで、動画におけるニューラルネットワーク推論を高速化し、リアルタイム比で最大 15,500× の高速化を達成しながら、最先端のネットワークと比較して 1–5% の精度損失に抑える。

ABSTRACT

Recent advances in computer vision-in the form of deep neural networks-have made it possible to query increasing volumes of video data with high accuracy. However, neural network inference is computationally expensive at scale: applying a state-of-the-art object detector in real time (i.e., 30+ frames per second) to a single video requires a $4000 GPU. In response, we present NoScope, a system for querying videos that can reduce the cost of neural network video analysis by up to three orders of magnitude via inference-optimized model search. Given a target video, object to detect, and reference neural network, NoScope automatically searches for and trains a sequence, or cascade, of models that preserves the accuracy of the reference network but is specialized to the target video and are therefore far less computationally expensive. NoScope cascades two types of models: specialized models that forego the full generality of the reference model but faithfully mimic its behavior for the target video and object; and difference detectors that highlight temporal differences across frames. We show that the optimal cascade architecture differs across videos and objects, so NoScope uses an efficient cost-based optimizer to search across models and cascades. With this approach, NoScope achieves two to three order of magnitude speed-ups (265-15,500x real-time) on binary classification tasks over fixed-angle webcam and surveillance video while maintaining accuracy within 1-5% of state-of-the-art neural networks.

研究の動機と目的

• 大規模な動画オブジェクト検出に用いられる最先端の深層ニューラルネットワーク（DNN）の高い計算コストに対処すること。
• 固定角度の動画ストリームにおけるクエリ固有のパターンを活用することで、動画におけるニューラルネットワーク推論のコストと遅延を低減すること。
• 特定の動画およびオブジェクトクラスに特化した最適化されたモデルカスケードを自動的に探索・訓練するシステムを開発すること。
• モデル特化と時間的差分検出を活用することで、精度を参考モデルと 1–5% の範囲内に保ちながら、推論速度を著しく向上させること。

提案手法

• ターゲットの動画およびオブジェクトクラスに対して、事前学習済みの参照 DNN を用いて、モデル特化のためのラベル付き学習データを生成する。
• ターゲット動画に対して参照モデルの挙動を模倣するが、速度と計算複雑性を最適化した軽量で特化した DNN を訓練する。
• 連続するフレーム間の時間的変化を特定する差分検出器を導入し、ほぼ同一のフレームに対しては高価な推論をスキップできるようにする。
• 特化したネットワークを最初に適用し、その後に差分検出器を配置し、信頼度が低い場合にはのみ参照 DNN を起動するモデルカスケードを構築する。
• 精度制約を満たす範囲でスループットを最大化するように、コストに基づく最適化アルゴリズムを用いて、モデルアーキテクチャと信頼度しきい値の組み合わせを探索する。
• 参照モデルから小さな高速化された特化モデルへ知識を転移するため、知識蒸留を用いる。

実験結果

リサーチクエスチョン

• RQ1 特定の動画に対して、顕著な精度損失なしに、ニューラルネットワークの推論コストを数個のオーダー以上に削減できるか？
• RQ2 動画固有のパターン（例：制限されたオブジェクトの視点、時間的冗長性）を自動的に同定・活用することで、推論をどのように高速化できるか？
• RQ3 与えられた動画およびオブジェクトクラスに対して、最適な特化モデルと差分検出器のカスケードアーキテクチャはどのような構成か？
• RQ4 モデル特化と時間的差分検出を併用することで、実世界の動画ワークロードにおける推論効率はどの程度向上するか？

主な発見

• NoScope は、固定角度のウェブカメラおよび監視動画において、リアルタイム推論比で 265× から 15,500× の高速化を達成し、参照モデルとの精度差を 1–5% の範囲内に保った。
• システムは計算コストを最大 3 時間のオーダーまで削減し、コンsumer ハードウェアでも大規模な動画分析を深層学習で実現可能にする。
• 特化したモデルのみで、参照ネットワーク比で最大 340× の高速化が達成され、元のモデルを起動する必要が著しく減少する。
• 差分検出器は時間的冗長なフレームを効果的に特定し、一部のケースでは高価な推論が必要なフレーム数を最大 80% 削減する。
• コストに基づく最適化アルゴリズムは、多様な動画およびオブジェクトクラスにおいて最適なモデルカスケードを効果的に同定し、アーキテクチャと信頼度しきい値を効率を最大化するように適応する。
• ターゲットの動画およびオブジェクトクラスが事前に分かっている状況では、モデル特化が一般のモデル圧縮技術（例：知識蒸留やプルーニング）を上回る推論速度を達成する。