[論文レビュー] Recurrent Neural Networks for video object detection

Ahmad Bin Qasim, Arnd Pettirsch|arXiv (Cornell University)|Oct 29, 2020

Video Surveillance and Tracking Methods参考文献 40被引用数 7

ひとこと要約

この論文は、動画オブジェクト検出における再帰的ニューラルネットワーク（RNN）の有効性を評価し、特徴ベース、ボックスレベル、フローに基づく手法を比較している。RNNを用いた時間的文脈の統合、特にマルチフレームSSDアーキテクチャにおけるGRUの使用により、KITTIでは最大4.4%、Caltechでは5%のmAP向上が達成され、速度の低下は最小限に抑えられ、同時に複数フレームを並列処理することで時間的文脈が2倍に拡張され、性能向上が実証された。

ABSTRACT

There is lots of scientific work about object detection in images. For many applications like for example autonomous driving the actual data on which classification has to be done are videos. This work compares different methods, especially those which use Recurrent Neural Networks to detect objects in videos. We differ between feature-based methods, which feed feature maps of different frames into the recurrent units, box-level methods, which feed bounding boxes with class probabilities into the recurrent units and methods which use flow networks. This study indicates common outcomes of the compared methods like the benefit of including the temporal context into object detection and states conclusions and guidelines for video object detection networks.

研究の動機と目的

• 単一フレームベースラインと比較して、再帰的ニューラルネットワーク（RNN）が動画オブジェクト検出性能を向上させる有効性を評価すること。
• 特徴レベル、ボックスレベル、フローに基づく手法を含む、さまざまなRNNベースのアーキテクチャの、精度と効率性の観点からの比較。
• フレームのサンプリング、ネットワークの深さ、スケール処理といった、動画オブジェクト検出ネットワークの最適設計選択の同定。
• 時間的文脈（特に過去および未来のフレーム）が検出性能に与える影響の評価。
• RNNを用いた効率的で正確な動画オブジェクト検出システムの設計指針の提供。

提案手法

• 特徴抽出部と検出ヘッドの間に統合層を挿入することで、ゲート付き再帰ユニット（GRU）を単一ショット検出器（SSD）アーキテクチャに統合する。
• 連続する複数フレームの特徴マップをGRUを介して処理し、時間的依存性を学習することで、検出精度を向上させる。
• 要素ごとの加算、マックスプーリング、連結、再帰ユニットといったさまざまな統合戦略をテストし、RNNが優れた性能を示した。
• KITTIおよびCaltechデータセットで最適なパフォーマンスを得るために、SqueezeDet+をバックボーンネットワークとして採用する。
• 過去および未来のフレームを活用するマルチフレーム推論戦略を採用し、双方向の時間的文脈を実現する。
• 計算負荷を軽減しながら検出品質を維持するため、キーフレームポリシーを適用し、速度と精度のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 RNNを用いて時間的文脈を統合することで、単一フレーム検出と比較して、動画オブジェクト検出性能にどのような影響を与えるか？
• RQ2 LSTMと比較して、動画オブジェクト検出において、精度と推論速度のバランスが最良となるRNNアーキテクチャ（LSTMかGRU）はどれか？
• RQ3 過去および未来のフレームを併用して並列で処理することで、一方向または単一フレーム処理に比べて検出mAPが向上するか？
• RQ4 連結、加算、RNNといった異なる統合戦略は、オブジェクト検出のためのマルチフレーム特徴統合において、どのように比較されるか？
• RQ5 フレームレートおよび入力フレーム数は、検出精度と計算効率にどのような影響を与えるか？

主な発見

• RNNベースの動画オブジェクト検出モデルは、常に単一フレームベースラインを上回り、KITTIではmAPが2.7%向上、Caltech Pedestriansでは5%向上した。
• GRUはLSTMと同等の性能を達成するが、学習および推論がはるかに高速であるため、リアルタイム応用にはより適している。
• 過去および未来のフレームを両方使用するモデル（例：「Detect to Track and Track to Detect」）は、一方向モデルよりも高いmAPを達成しており、時間的文脈が2倍に拡張されているためである。
• 「Scale-Time Lattice」と「Detect to Track」手法は、KITTIで最高のmAP（79.6–82.0）を達成し、空間的および時間的モデリングの統合の利点を示した。
• フローに基づくアプローチ（例：DeepFeature Flow）は、RNNベースの手法に比べて性能が劣り、ImageNetではmAPが73.9にとどまり、このタスクにおいては限定的な利点しか示さなかった。
• キーフレームポリシーやマルチスケール特徴処理を適用することで、計算効率が向上し、検出精度に影響を与えることなくリアルタイムデプロイメントが可能になった。