[論文レビュー] Fast Object Detection in Compressed Video

Shiyao Wang, Hongchao Lu+1 more|arXiv (Cornell University)|Nov 27, 2018

Advanced Neural Network Applications参考文献 56被引用数 7

ひとこと要約

本稿では、動画コーデックから得られる動きベクトルと残差誤差を活用して特徴抽出を高速化する、圧縮動画向けの高速オブジェクト検出手法MMNetを提案する。IフレームからPフレームへの特徴の軽量メモリネットワークによる伝搬を用いることで、MANetに比べ最大10倍の高速化、R-FCNに比べ3倍の高速化を達成し、ImageNet VIDではわずかな精度低下にとどめる。

ABSTRACT

Object detection in videos has drawn increasing attention since it is more practical in real scenarios. Most of the deep learning methods use CNNs to process each decoded frame in a video stream individually. However, the free of charge yet valuable motion information already embedded in the video compression format is usually overlooked. In this paper, we propose a fast object detection method by taking advantage of this with a novel Motion aided Memory Network (MMNet). The MMNet has two major advantages: 1) It significantly accelerates the procedure of feature extraction for compressed videos. It only need to run a complete recognition network for I-frames, i.e. a few reference frames in a video, and it produces the features for the following P frames (predictive frames) with a light weight memory network, which runs fast; 2) Unlike existing methods that establish an additional network to model motion of frames, we take full advantage of both motion vectors and residual errors that are freely available in video streams. To our best knowledge, the MMNet is the first work that investigates a deep convolutional detector on compressed videos. Our method is evaluated on the large-scale ImageNet VID dataset, and the results show that it is 3x times faster than single image detector R-FCN and 10x times faster than high-performance detector MANet at a minor accuracy loss.

研究の動機と目的

• 動画オブジェクト検出において、重いCNNを用いた密な動画フレーム処理の計算非効率性を解消すること。
• H.264など既存の圧縮動画コーデックにすでに埋め込まれた動き情報を利用し、重複計算を回避すること。
• IフレームからPフレームへの特徴を効率的に伝搬する軽量メモリネットワークを開発すること。
• メモリネットワークにピラミッド型特徴注意機構を組み込み、圧縮動画におけるマルチスケールオブジェクト検出を可能にすること。
• ネイティブコーデック信号を活用することで、検出精度を損なわず、推論を高速化できることを実証すること。

提案手法

• Iフレームを基準フレームとし、深層特徴を抽出するためにそれらにのみ完全な認識ネットワークを適用する。
• その後のPフレームに対しては、Iフレームの特徴と動きベクトルを入力とする軽量メモリネットワークを採用する。
• 動画ストリームからの動きベクトルと残差誤差を統合し、フレーム間での特徴のアライメントと精緻化を実現する。
• 複数スケールでの特徴伝搬を可能にするためにピラミッド型特徴注意機構を実装し、マルチスケール検出を向上させる。
• 動きの手がかりと残差誤差に基づいてPフレームの正確な特徴を予測できるよう、メモリネットワークをエンドツーエンドで訓練する。
• 提案手法MMNetにボックスレベルのNMSなどの後処理技術を組み合わせることで、さらなる検出性能の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 圧縮動画に埋め込まれた動きベクトルと残差誤差は、動画オブジェクト検出の高速化に有効に利用できるか？
• RQ2 コーデックネイティブな動き信号を用いた特徴伝搬は、フローベースの手法と比較して速度と精度の面で優れているか？
• RQ3 軽量メモリネットワークは、IフレームからPフレームへの特徴伝搬を効果的に行い、検出精度を維持できるか？
• RQ4 ピラミッド型特徴注意機構の統合は、圧縮動画におけるマルチスケール検出を向上させるか？
• RQ5 MMNetは、大規模な動画検出ベンチマークで競争力のあるmAPを維持しつつ、どれほど推論時間を短縮できるか？

主な発見

• MMNetは、高性能な動画検出器MANetに比べ最大10倍の高速推論を達成し、mAPの低下はわずかである。
• 単一画像検出器R-FCNに比べ3倍の高速化を実現しながらも、ImageNet VIDデータセットで競争力ある精度を維持している。
• 後処理を組み合わせた場合、41 fpsで73.0%のmAP、8 fpsで最大79.2%のmAPを達成している。
• 動きベクトルは特徴伝搬に十分な動きの手がかりを提供し、速度と効率の面でフローエスティメーションを上回っている。
• ピラミッド型特徴注意機構により、スケール間での空間的詳細の保持が可能となり、効果的なマルチスケール検出が実現された。
• 可視化により、動きベクトルが正確な特徴アライメントを導き、信頼性の高いバウンディングボックス予測をもたらすことが確認された。