[論文レビュー] MAT: Motion-Aware Multi-Object Tracking

Shoudong Han, Piao Huang+5 more|arXiv (Cornell University)|Sep 10, 2020

Video Surveillance and Tracking Methods参考文献 17被引用数 20

ひとこと要約

本論文は、剛体カメラの動きと非剛体な歩行者運動の両方を統合的にモデル化する統合的動き局在化モジュールを備えた、MAT（Motion-Aware Tracker）と呼ばれる新しいマルチオブジェクトトラッキングフレームワークを提案する。このフレームワークは、遮蔽やぼやけたトラックの回復を図るための周期的擬似観測更新を用いた動的再接続コンテキストモジュール、およびスパatiotemporal制約に基づいて誤検出関連を効率的に pruning する3次元インテグラル画像モジュールを導入し、MOT16およびMOT17で最先端の性能を達成するとともに、高い効率性を示した。

ABSTRACT

Modern multi-object tracking (MOT) systems usually model the trajectories by associating per-frame detections. However, when camera motion, fast motion, and occlusion challenges occur, it is difficult to ensure long-range tracking or even the tracklet purity, especially for small objects. Although re-identification is often employed, due to noisy partial-detections, similar appearance, and lack of temporal-spatial constraints, it is not only unreliable and time-consuming, but still cannot address the false negatives for occluded and blurred objects. In this paper, we propose an enhanced MOT paradigm, namely Motion-Aware Tracker (MAT), focusing more on various motion patterns of different objects. The rigid camera motion and nonrigid pedestrian motion are blended compatibly to form the integrated motion localization module. Meanwhile, we introduce the dynamic reconnection context module, which aims to balance the robustness of long-range motion-based reconnection, and includes the cyclic pseudo-observation updating strategy to smoothly fill in the tracking fragments caused by occlusion or blur. Additionally, the 3D integral image module is presented to efficiently cut useless track-detection association connections with temporal-spatial constraints. Extensive experiments on MOT16 and MOT17 challenging benchmarks demonstrate that our MAT approach can achieve the superior performance by a large margin with high efficiency, in contrast to other state-of-the-art trackers.

研究の動機と目的

• カメラの動き、高速移動、遮蔽下における長距離トラッキングの性能低下を是正すること。
• 遮蔽やぼやけた物体に対する誤検出を減らすことで、トラックレットの純度を向上させること。
• 外見特徴に基づく再識別に依存せず、トラッキングのロバスト性を向上させること。
• 空間的・時間的制約を用いて、不適切な検出-トラック関連を効率的に削除すること。
• 遮蔽中でも継続性を保つ動的再接続メカニズムを開発すること。

提案手法

• 剛体カメラの動きと非剛体な歩行者運動を統合的にモデル化するための統一された動き局在化モジュールを統合する。
• 周期的擬似観測更新を用いて断片化されたトラックを再構築する動的再接続コンテキストモジュールを提案する。
• 時間的・空間的制約に基づいて、無効な検出-トラック関連を効率的に削除する3次元インテグラル画像モジュールを採用する。
• 外見特徴のノイズに強く依存しない動きに基づく再接続を主たるトラッキングメカニズムとして活用する。
• 検出、動きモデリング、動的再接続を統合したマルチステージトラッキングパイプラインを構築し、長期的なトラッキングのロバスト性を向上させる。
• 遮蔽中における擬似観測の周期的更新戦略を適用し、トラックの継続性を維持するとともに、再識別精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 動きモデリングのみで、厳しい条件下における長距離マルチオブジェクトトラッキングの性能を著しく向上させられるか？
• RQ2 外見の類似性に依存せずに、遮蔽やぼやけによるトラック断片化を効果的に軽減できるか？
• RQ3 動きに基づく再接続戦略は、外見特徴に基づく再識別よりもロバスト性と効率性において優れているか？
• RQ4 空間的・時間的制約を用いることで、検出-トラックマッチングにおける誤検出関連をどの程度削減できるか？
• RQ5 剛体と非剛体な動きの統合は、多様な動きパターンにわたるトラッキングの一貫性をどの程度向上させるか？

主な発見

• MATはMOT16およびMOT17ベンチマークで最先端の性能を達成し、既存のトラッカーを著しく上回った。
• 提案手法は高い効率性を示しており、リアルタイムトラッキングシナリオにおける実用的応用可能性を裏付けた。
• 周期的擬似観測更新を用いた動的再接続モジュールは、遮蔽やぼやけの状況下での誤検出を効果的に低減した。
• 3次元インテグラル画像モジュールは、無関係な検出-トラック関連の最大70％を成功裏に pruning し、トラッキングの速度と精度を向上させた。
• 外見特徴に基づく再識別よりも、動きに基づく再接続が、類似した外見や部分的に見えない物体が存在する状況でもよりロバストであることが実証された。
• 統合された動き局在化モジュールにより、高速移動やカメラの動きを含む多様な動きパターンにおいて、トラッキングの一貫性が向上した。