[論文レビュー] Mobile Video Object Detection with Temporally-Aware Feature Maps

Mason Liu, Menglong Zhu|arXiv (Cornell University)|Nov 17, 2017

Advanced Neural Network Applications参考文献 36被引用数 43

ひとこと要約

本稿では、1ショット検出フレームワークに畳み込み型長短期記憶（LSTM）ネットワークを統合することで、モバイルおよび組み込みデバイス向けに軽量でリアルタイムな動画オブジェクト検出モデルを提案する。時間的文脈を用いて特徴マップを精緻化する一方で、計算コストを低減するためのボトルネック-LSTM層を導入し、効率的なモデルの中で最先端の精度を達成し、モバイルCPU上で最大15 FPSの性能を発揮する。

ABSTRACT

This paper introduces an online model for object detection in videos designed to run in real-time on low-powered mobile and embedded devices. Our approach combines fast single-image object detection with convolutional long short term memory (LSTM) layers to create an interweaved recurrent-convolutional architecture. Additionally, we propose an efficient Bottleneck-LSTM layer that significantly reduces computational cost compared to regular LSTMs. Our network achieves temporal awareness by using Bottleneck-LSTMs to refine and propagate feature maps across frames. This approach is substantially faster than existing detection methods in video, outperforming the fastest single-frame models in model size and computational cost while attaining accuracy comparable to much more expensive single-frame models on the Imagenet VID 2015 dataset. Our model reaches a real-time inference speed of up to 15 FPS on a mobile CPU.

研究の動機と目的

• 計算リソースが限られたモバイルおよび組み込みプラットフォームに特化した、効率的でリアルタイムな動画オブジェクト検出システムの開発。
• 動画シーケンス内の時間的連続性を活用することで、モデルの複雑さを著しく増加させることなく、検出の安定性と精度を向上させること。
• 検出結果に対して後処理を施すのではなく、特徴抽出プロセスに再帰的ネットワークを直接統合すること。
• 単一フレーム検出器の速度と効率を維持しつつ、軽量な再帰的アーキテクチャを用いて時間的認識能力を追加すること。
• 時間的文脈が特徴マップに与える影響が、現実世界の動画シナリオにおけるオクルージョンやノイズの多い入力に対して、どのように頑健性を高めるかを実証すること。

提案手法

• 1ショットオブジェクト検出器（SSD）と畳み込みLSTM（ConvLSTM）を組み合わせ、フレーム間で特徴マップを精緻化する再帰的畳み込みアーキテクチャを構築する。
• LSTMユニット内に深さ方向分離畳み込みを適用することで、パラメータ数と乗加算演算数を削減するボトルネック-LSTM層を導入する。
• 畳み込み層の出力を特徴マップの仮説とし、それを過去のフレームからの文脈的情報を用いてLSTMが精緻化する。
• 中間特徴層に再帰ユニットを適用することで、最終的な検出ヘッドに到達する前の段階で特徴の時間的精緻化を実現する。
• 空間的検出と時間的一致性の両方を最適化するため、ネットワーク全体をエンドツーエンドで同時に学習する共同学習戦略を採用する。
• Pixel 2（Snapdragon 835搭載）などのデバイスでリアルタイム性能を測定するために、カスタムTensorFlow推論実装を用いてモバイルCPU上にモデルをデプロイする。

実験結果

リサーチクエスチョン

• RQ1 軽量な再帰的アーキテクチャを1ショット検出フレームワークに効果的に統合することで、推論速度を損なわずに動画検出性能を向上させることができるか？
• RQ2 中間特徴マップにおける時間的文脈は、単一フレームベースラインと比較して、どの程度検出精度と安定性を向上させるか？
• RQ3 再帰ユニットをモバイルCPU上でリアルタイムに実行できるほど計算効率を高めつつ、性能を維持できるか？
• RQ4 時間的文脈の活用が、オクルージョンやフレームレベルの破損といった入力ノイズに対して、性能の頑健性を向上させるか？
• RQ5 統合的でエンドツーエンドで学習可能なアーキテクチャは、モバイルプラットフォーム上での速度と精度の両面で、後処理ベースのトラッキング手法を上回ることができるか？

主な発見

• 提案モデルは、ImageNet VID 2015の検証セットで54.4%のmAPを達成し、1.13億のMACsと324万のパラメータを有するが、MobileNet-SSD（α=1）をmAPおよび効率の両面で上回る。
• モバイルCPU（Snapdragon 835のビッグコア）上で最大15 FPSで実行可能であり、テスト済みのすべての単一フレームベースラインを上回る推論速度を達成する。
• 同じハードウェア上でのα=0.5の設定では、リトルコアで140msの推論時間を達成し、低消費電力デバイスへの適用可能性を示す。
• 人工的なオクルージョン（p=0.75）条件下でも、33.3%のmAPを維持するが、これはMobileNet-SSDの24.6%を著しく上回り、時間的モデリングによる優れた頑健性を示している。
• ボトルネック-LSTM層は、標準LSTMと比較して計算コストを80%以上削減しながらも性能を保持しており、リアルタイムデプロイメントを可能にする。
• 定性的な結果から、特に動きぼけや部分的オクルージョンが生じる困難なシーケンスにおいて、単一フレーム検出器と比較してはるかに安定した検出結果が得られていることが明らかになった。