[論文レビュー] Minkowski Tracker: A Sparse Spatio-Temporal R-CNN for Joint Object Detection and Tracking

JunYoung Gwak, Silvio Savarese+1 more|arXiv (Cornell University)|Aug 22, 2022

Video Surveillance and Tracking Methods被引用数 7

ひとこと要約

Minkowski Trackerは、4次元点群（3次元空間＋時間）を4次元スパース畳み込みエンコーダーで処理することで、3次元物体検出とマルチオブジェクトトラッキング（MOT）を統合的に実行するスパースな時空間R-CNNを提案する。TrackAlignを用いて時空間ROI特徴を統合し、検出結果とトラックの一致確率を予測することで、運動モデルを暗黙的に学習する。手動で設計された運動モデルに依存せず、nuScenesで最先端の性能を達成する。

ABSTRACT

Recent research in multi-task learning reveals the benefit of solving related problems in a single neural network. 3D object detection and multi-object tracking (MOT) are two heavily intertwined problems predicting and associating an object instance location across time. However, most previous works in 3D MOT treat the detector as a preceding separated pipeline, disjointly taking the output of the detector as an input to the tracker. In this work, we present Minkowski Tracker, a sparse spatio-temporal R-CNN that jointly solves object detection and tracking. Inspired by region-based CNN (R-CNN), we propose to solve tracking as a second stage of the object detector R-CNN that predicts assignment probability to tracks. First, Minkowski Tracker takes 4D point clouds as input to generate a spatio-temporal Bird's-eye-view (BEV) feature map through a 4D sparse convolutional encoder network. Then, our proposed TrackAlign aggregates the track region-of-interest (ROI) features from the BEV features. Finally, Minkowski Tracker updates the track and its confidence score based on the detection-to-track match probability predicted from the ROI features. We show in large-scale experiments that the overall performance gain of our method is due to four factors: 1. The temporal reasoning of the 4D encoder improves the detection performance 2. The multi-task learning of object detection and MOT jointly enhances each other 3. The detection-to-track match score learns implicit motion model to enhance track assignment 4. The detection-to-track match score improves the quality of the track confidence score. As a result, Minkowski Tracker achieved the state-of-the-art performance on Nuscenes dataset tracking task without hand-designed motion models.

研究の動機と目的

• パイプライン型3D MOTシステムが検出とトラッキングを別々の段階として扱うという限界を解消すること。
• 1つのエンド・ツー・エンドのフレームワークで検出とトラッキングを同時に最適化することで、トラッキング性能を向上させること。
• 手動で設計された運動モデルに依存しないように、マルチタスク学習を通じて暗黙的な運動表現を学習すること。
• 検出結果とトラックの一致確率を統合することで、トラックの信頼性を向上させること。
• 手動で設計された運動モデルを排除し、より高い再現率、より少ない誤検出、より少ないIDスイッチを達成する、nuScenes 3D MOTベンチマークで最先端の性能を実現すること。

提案手法

• モデルは3次元点群の時系列を4次元時空間入力として処理し、時間的推論にMinkowski空間を活用する。
• 4次元スパース畳み込みエンコーダーが、時空間的ビューアー（BEV）特徴マップを生成し、時空間的特徴の統合的学習を可能にする。
• TrackAlignを導入して、BEVマップからの領域オブジェクト特徴（ROI）を統合し、検出結果とトラック間の特徴レベル一致を可能にする。
• 2段階R-CNNフレームワークの一部として、検出結果とトラックの一致確率を予測することで、トラッキングを2段階目の検出タスクとして扱う。
• 検出結果とトラックの一致スコアを用いて、トラックの割り当てを改善し、単純な検出信頼度の平均化に代わる、強化されたトラック信頼度スコアを計算する。
• 検出結果とトラックの一致スコアと距離比を組み合わせた学習可能なコスト行列を用いることで、耐障害性を向上させ、IDスイッチを低減する。

実験結果

リサーチクエスチョン

• RQ1 パイプライン型アプローチと比較して、3次元物体検出とマルチオブジェクトトラッキングを統合的に学習することで性能が向上するか？
• RQ2 4次元時空間符号化は、遮蔽や断片化に対する検出の耐障害性を向上させるか？
• RQ3 明示的な手動設計フィルターやカルマンフィルタを用いずに、ニューラルネットワークが運動モデルを暗黙的に学習できるか？
• RQ4 検出結果とトラックの一致確率を統合することで、トラックの割り当て精度と信頼度推定にどのような影響を与えるか？
• RQ5 共同最適化されたマルチタスク学習が、検出とトラッキングの両方の性能に与える影響は何か？

主な発見

• Minkowski Trackerは、nuScenes 3D MOTベンチマークで最先端の性能を達成し、AMOTA、再現率、誤検出率の面で先行手法を上回った。
• 本モデルは、比較対象のすべての手法の中で最高の再現率と最低の誤検出率を達成し、4次元時間的推論による検出の耐障害性向上を示した。
• 検出結果とトラックの一致スコアは、IDスイッチとトラック断片化を顕著に低減させ、効果的な暗黙的運動モデリングを実証した。
• 検出信頼度と検出結果とトラックの一致スコアの組み合わせにより、トラック信頼度が向上し、ベースラインの信頼度推定法と比較してAMOTAが2.4%絶対値で向上した。
• 計算コストの高い手動設計フィルタを回避し、効率的な線形代入に依存することで、ImmortalTrackerの6倍の高速化を達成しながらも、より優れた性能を発揮した。
• アブレーションスタディにより、4次元エンコーダー、マルチタスク学習、検出結果とトラックの一致スコア、信頼度スコア統合が、それぞれ独立して性能向上に寄与していることが確認された。