[論文レビュー] TrackNet: Simultaneous Object Detection and Tracking and Its Application in Traffic Video Analysis

Chenge Li, Gregory Dobler+2 more|arXiv (Cornell University)|Feb 4, 2019

Video Surveillance and Tracking Methods参考文献 3被引用数 23

ひとこと要約

TrackNet は、修正された Faster R-CNN アーキテクチャを用いて、3次元空間時間的バウンディングチューブを生成することで、動画内のオブジェクト検出とトラッキングを統合的に実行する包括的なディーブラーニングフレームワークである。この手法は、3次元 C3D ネットワークからの空間時間的特徴と、VGG からの外観特徴を活用し、チューブ提案ネットワーク（TPN）を用いてチューブを予測することで、512次元特徴圧縮を用いた場合に UA-DETRAC データセットで最先端の性能（mAP 40.45%）を達成した。

ABSTRACT

Object detection and object tracking are usually treated as two separate processes. Significant progress has been made for object detection in 2D images using deep learning networks. The usual tracking-by-detection pipeline for object tracking requires that the object is successfully detected in the first frame and all subsequent frames, and tracking is done by associating detection results. Performing object detection and object tracking through a single network remains a challenging open question. We propose a novel network structure named trackNet that can directly detect a 3D tube enclosing a moving object in a video segment by extending the faster R-CNN framework. A Tube Proposal Network (TPN) inside the trackNet is proposed to predict the objectness of each candidate tube and location parameters specifying the bounding tube. The proposed framework is applicable for detecting and tracking any object and in this paper, we focus on its application for traffic video analysis. The proposed model is trained and tested on UA-DETRAC, a large traffic video dataset available for multi-vehicle detection and tracking, and obtained very promising results.

研究の動機と目的

• 動画分析においてオブジェクト検出とトラッキングを別々のプロセスとして扱うという制限を解決すること。
• 統合ネットワーク内で空間的外観と時間的運動特徴を同時にモデル化することで、トラッキング性能を向上させること。
• 1回の順伝播処理で完全なオブジェクト軌跡（チューブ）を生成することにより、計算コストと後処理の複雑さを低減すること。
• 特徴統合、空間変換器、データ拡張を活用することで、モデルの汎化性能と局所化精度を向上させること。
• 複雑な交通映像シナリオにおいて、フレームレベルの検出と関連付けと比較してチューブレベルの提案が果たす有効性を評価すること。

提案手法

• 連続する複数フレーム（GoP）を3次元ボリュームとして処理できるように Faster R-CNN を拡張し、検出とトラッキングを統合的に実行する。
• 空間時間的特徴から直接、候補となる3次元チューブのオブジェクト性と位置パラメータを予測するチューブ提案ネットワーク（TPN）を採用する。
• 運動特徴を抽出する3次元 C3D ネットワークと、外観特徴を抽出する2次元 VGG ネットワークの特徴を統合し、次元削減のために128次元の圧縮層を適用する。
• フレーム間の特徴を整列させるために空間変換器モジュールを用い、視点変化や運動の変動に対してより頑健な性能を実現する。
• TPN 処理中に線形補間（LP）を適用することで、運動の滑らかさを暗黙的に正則化し、パラメータ数を削減する。
• 分類と回帰の両方に対して交差エントロピー損失とスムーズL1損失を用い、エンド・ツー・エンド最適化により UA-DETRAC データセット上でモデルを学習および評価する。

実験結果

リサーチクエスチョン

• RQ1 3次元チューブ提案を用いた検出とトラッキングの統合が、従来のトラッキング・バイ・検出パイプラインを上回る性能を発揮できるか？
• RQ2 3次元畳み込みニューラルネットワーク（3D CNN）からの空間時間的特徴と、2次元畳み込みニューラルネットワーク（2D CNN）からの外観特徴を統合することで、トラッキング精度と頑健性にどのような影響を与えるか？
• RQ3 フレームレベルの検出と比較してチューブ提案を用いることで、計算オーバーヘッドと後処理の複雑さはどの程度低減されるか？
• RQ4 空間変換器や線形補間といったアーキテクチャ的要素が、モデル性能と汎化性能に与える影響は何か？
• RQ5 特徴次元の圧縮とデータ拡張の影響は、交通映像トラッキングにおける局所化精度と mAP にどのような影響を与えるか？

主な発見

• 特徴次元を128に圧縮した場合、完全な TrackNet モデルは UA-DETRAC データセットで平均平均精度（mAP）37.47%を達成した。
• 圧縮次元を128から512に引き上げたことで、mAPは40.45%まで向上し、より多くの特徴詳細を保持することが有効であることが示された。
• VGG 特徴の連結と空間変換器モジュールの導入が性能向上に顕著に寄与したため、これらが特徴表現において極めて重要であることが示された。
• TPN 処理中に線形補間（LP）を適用することで、パラメータ数を減らしつつ性能が向上したため、運動の滑らかさに対する効果的な暗黙的正則化が可能であることが示された。
• 空間的特徴と運動特徴を同時に使用することで、誤検出（偽陽性）が減少し、精度が向上したが、GoP レベルの特徴解像度の制限により、局所化は若干緩やかになった。
• 視点角度によって性能に差が現れ、正面視点が最も容易であった。水平反転を用いたデータ拡張により、汎化性能が向上した。