[論文レビュー] Track Initialization and Re-Identification for~3D Multi-View Multi-Object Tracking

Linh Van, Tran Thien Dat Nguyen+3 more|arXiv (Cornell University)|May 28, 2024

Video Surveillance and Tracking Methods被引用数 5

ひとこと要約

本研究は、複数カメラからの2D検出と3Dオブジェクト状態を統合し、コンパクトな潜在表現を学習するベイズ的多物体追跡（MOT）アプローチを用いて、追跡を初期化しオブジェクトを再識別する3D多視点MOTフレームワークを提案する。

ABSTRACT

We propose a 3D multi-object tracking (MOT) solution using only 2D detections from monocular cameras, which automatically initiates/terminates tracks as well as resolves track appearance-reappearance and occlusions. Moreover, this approach does not require detector retraining when cameras are reconfigured but only the camera matrices of reconfigured cameras need to be updated. Our approach is based on a Bayesian multi-object formulation that integrates track initiation/termination, re-identification, occlusion handling, and data association into a single Bayes filtering recursion. However, the exact filter that utilizes all these functionalities is numerically intractable due to the exponentially growing number of terms in the (multi-object) filtering density, while existing approximations trade-off some of these functionalities for speed. To this end, we develop a more efficient approximation suitable for online MOT by incorporating object features and kinematics into the measurement model, which improves data association and subsequently reduces the number of terms. Specifically, we exploit the 2D detections and extracted features from multiple cameras to provide a better approximation of the multi-object filtering density to realize the track initiation/termination and re-identification functionalities. Further, incorporating a tractable geometric occlusion model based on 2D projections of 3D objects on the camera planes realizes the occlusion handling functionality of the filter. Evaluation of the proposed solution on challenging datasets demonstrates significant improvements and robustness when camera configurations change on-the-fly, compared to existing multi-view MOT solutions. The source code is publicly available at https://github.com/linh-gist/mv-glmb-ab.

研究の動機と目的

• 自動車システムとスポーツ分析のための、複数の同期カメラからの堅牢な3D MOTを動機づける。
• 2D検出と3Dオブジェクト状態を統一的なベイズMOTモデルに融合する、追跡初期化と再識別のフレームワークを提案する。
• 2D検出、マルチカメラ特徴、および運動/外観モデリングを結合する効率的な M♡OT (MHypert MOC) フィルタを開発する。
• 複数カメラからの2D検出と抽出された特徴を活用して、ビュー間での軌跡の初期化、終了、および再識別を改善する。

提案手法

• トラック-前検出と検出前トラックの成分を統合するベイズ MOT 形式を使用する。
• 複数センサーからの2D検出を3D状態推定に融合する3D多物体追跡フィルタ（M♡OT）を採用する。
• 遷移と観測に線形ガウスモデルを採用し、効率的なカルマン風の更新を可能にする。
• 3D位置、速度、形状パラメータを含む複数観測可能な状態表現を導入し、カメラ基準の外観特徴とともに用いる。
• 学習された特徴（例：SIFT様、HOG、ニューラル特徴など）と確率的データアソシエーションステップを通じて頑健な外観モデルを組み込む。
• ベイズフィルタをオンラインのマルチカメラデータアソシエーションへ拡張し、グループ化GLMB/MO-GLMBフレームワークとトラック-フォア-ビフォア-検出のパラダイムを利用する。
• オンライン推論をオンライン/オフラインデータ上で計算可能にするための近似戦略（例：MÈR-GLMB）を提供する。

Σχ \acctonos ηµα 0: Σςηεματις οφ τηε προποςεδ 3Δ Μ῞-ΜΟΤ ςολυτιον. Μυλτι-ιεω δετεςτιονς (βουνδινγ βοξες ανδ ιςυαλ φεατυρες φρομ αλλ ςαμερας) ις ςυππλιεδ το τηε Μ῞-ΜΟΤ φιλτερ, ωηιςη ιντεγρατες μυλτι-οβϑεςτ δψναμις ανδ μεαςυρεμεντ μοδελς το ρεαλιζε αλλ ΜΟΤ φυνςτιοναλιτιες.

実験結果

リサーチクエスチョン

• RQ1 複数視点の2D検出から3D MOTを効果的に初期化しつつ、正確な終了と再識別を維持するにはどうすればよいか？
• RQ2 堅牢な追跡のために、複数のカメラに跨る2D検出、3D状態、外観特徴を結合する効率的な確率フレームワークは何か？
• RQ3 オンラインのマルチカメラ設定で、追跡の初期化、終了、再識別を共同で解決するにはどうすればよいか？
• RQ4 3D多視点MOTで、精度を大きく損なうことなくリアルタイム性能を実現する近似は何か？
• RQ5 学習された外観特徴とジオメトリ認識型運動モデルは、ビュー間の再識別と軌跡回復にどのような影響を与えるか？

主な発見

• 複数のカメラに跨る追跡初期化、終了、および再識別を共同で処理するベイズ的3D MOTフレームワークを提案する。
• 効率のために線形ガウスダイナミクスを用いた、2D多カメラ検出を3D状態推定に統合する多物体追跡フィルタ（MOT）を設計する。
• このアプローチは、運動、外観、幾何を結びつける潜在変数表現を用い、ビュー間での頑健なデータアソシエーションと再識別を可能にする。
• オンラインマルチカメラMOTへ拡張可能な計算可能な近似（例：M῞-GLMB）が開発され、複雑さを削減しつつ競争力のある精度を維持する。
• 実験は、初期化と再識別の際に2D検出とビュー間の外観特徴を活用することで、ベースライン手法と比較して追跡性能が向上することを示す。

Σχ \acctonos ηµα 0: Σςηεματις οφ τηε προποςεδ μυλτι-ιεω ΜΟΤ φιλτερ, ωιτη Αδαπτιε Βιρτη Μοδελ ανδ Οςςλυςιον Μοδελ τηατ ρεαλιζε ΜΟΤ φυνςτιοναλιτιες.