[論文レビュー] Simultaneous Detection and Tracking with Motion Modelling for Multiple Object Tracking

Shijie Sun, Naveed Akhtar+4 more|arXiv (Cornell University)|Aug 20, 2020

Video Surveillance and Tracking Methods参考文献 8被引用数 6

ひとこと要約

本稿では、動的パラメータ、物体クラス、および動画シーケンス全体での可視性をモデル化することで、同時に物体検出とマルチオブジェクトトラッキングを実行するエンドツーエンドのディープラーニングフレームワーク、DMM-Netを提案する。120 fpsを超える速度でUA-DETRACで12.80のPR-MOTAを達成し、市販の検出器に依存しない。また、偏りのない評価を可能にするために1400万フレームを超えるOmni-MOTデータセットを提供する。

ABSTRACT

Deep learning-based Multiple Object Tracking (MOT) currently relies on off-the-shelf detectors for tracking-by-detection.This results in deep models that are detector biased and evaluations that are detector influenced. To resolve this issue, we introduce Deep Motion Modeling Network (DMM-Net) that can estimate multiple objects' motion parameters to perform joint detection and association in an end-to-end manner. DMM-Net models object features over multiple frames and simultaneously infers object classes, visibility, and their motion parameters. These outputs are readily used to update the tracklets for efficient MOT. DMM-Net achieves PR-MOTA score of 12.80 @ 120+ fps for the popular UA-DETRAC challenge, which is better performance and orders of magnitude faster. We also contribute a synthetic large-scale public dataset Omni-MOT for vehicle tracking that provides precise ground-truth annotations to eliminate the detector influence in MOT evaluation. This 14M+ frames dataset is extendable with our public script (Code at Dataset , Dataset Recorder , Omni-MOT Source ). We demonstrate the suitability of Omni-MOT for deep learning with DMMNet and also make the source code of our network public.

研究の動機と目的

• 市販の検出器に依存しないエンドツーエンドのネットワークに検出とトラッキングを統合することで、ディープラーニングベースのマルチオブジェクトトラッキングにおける検出器バイアスを排除すること。
• 検出器ベースのトラッキングパイプラインにおける市販の検出器による非効率性と性能低下を是正すること。
• 正確なアノテーションを備えた大規模で現実的かつ偏りのないベンチマークデータセットを、車両トラッキング用に開発すること。
• 動画フレーム間でオブジェクトの運動、クラス、可視性を統合的に推論し、効率的なトラックレット生成を実現すること。
• 再現可能で透明なMOT評価を支援するため、公開可能で拡張可能なデータセット（Omni-MOT）とコードベースを提供すること。

提案手法

• DMM-Netは、3次元ResNetに類似した特徴抽出器を用いて、16コマの連続動画フレームを処理し、空間時間的表現を学習する。
• 運動サブネット、分類サブネット、可視性サブネットの3つのサブネットワークを採用し、それぞれが3次元畳み込みを用いて運動パラメータ、物体クラス、可視性状態を予測する。
• ネットワークは、2次元アノテーションボックスを時間軸に拡張したアノテーションチューブ（anchor tubes）を用い、複数フレームにわたる潜在的なオブジェクトトラックを表現する。
• 運動パラメータは、空間時間的領域における事前に定義されたアノテーションチューブに対するオフセットおよびスケールとして予測される。
• 各サブネットワークの運動、分類、可視性予測を同時に最適化するための特別な損失関数が設計されている。
• トラックレットは、予測されたアノテーションチューブをフィルタリングし、運動的および外観的一致性を用いて複数フレームに跨って統合することで生成される。

実験結果

リサーチクエスチョン

• RQ1 外部検出器に依存せずに、エンドツーエンドのディープラーニングが、マルチオブジェクトトラッキングにおける物体検出とデータ関連付けを同時に最適化できるか？
• RQ2 明示的な運動パラメータのモデル化が、複雑で動的なシーンにおけるトラッキング精度と効率をどのように向上させるか？
• RQ3 正確なアノテーションを備えた合成的大規模データセットが、MOT評価におけるバイアスをどれほど低減し、モデルの一般化性能を向上させるか？
• RQ4 運動モデル化と可視性推定の統合が、遮蔽や外観変化にさらされた状況下でのトラッキングのロバスト性をどのように向上させるか？
• RQ5 提案されたOmni-MOTデータセットは、エンドツーエンドMOTモデルの学習と評価をどの程度効果的に支援できるか？

主な発見

• DMM-Netは、UA-DETRACベンチマークで12.80のPR-MOTAを達成し、他の手法を上回る性能を発揮しながら、120 fpsを超える速度で動作する。
• モデルは強力な一般化性能を示し、珍しい車両タイプや部分的遮蔽状態のオブジェクトを複数フレームに跨って正しくトラッキングしている。
• UA-DETRACの学習セットにOmni-MOTの一部を追加することで、性能が向上し、PR-MOTAは11.80%から12.20%に上昇した。
• 提案されたOmni-MOTデータセットには1400万フレーム以上、1億1000万個のバウンディングボックス、25万本のトラックが含まれており、多様な天候、混雑状態、カメラ設定をカバーしている。
• 運動モデル化の統合により、ネットワークが外部検出器を必要とせずに、オブジェクトを暗黙的に検出・トラッキングできるようになっている。
• ソースコードとデータセットは公開されており、再現可能で透明なMOT評価のためのさらなる研究を可能にしている。