[論文レビュー] IA-MOT: Instance-Aware Multi-Object Tracking with Motion Consistency

Jiarui Cai, Yizhou Wang+4 more|arXiv (Cornell University)|Jun 24, 2020

Video Surveillance and Tracking Methods参考文献 9被引用数 13

ひとこと要約

本論文では、インスタンスレベルの特徴と運動の一貫性を統合することで追跡精度を向上させる、新しいインスタンスに配慮したマルチオブジェクト追跡フレームワーク、IA-MOTを提案する。マスクR-CNNの変種に埋め込みヘッドと空間的アテンションを組み合わせ、前景に配慮した特徴を抽出し、短時間のリトリーブとReIDを統合したハンガリアンアソシエーションにより、遮蔽を効果的に処理する。IA-MOTは、MOTS20とKITTI-MOTSデータセットを統合した上で69.8 sMOTSAのスコアを達成し、CVPR 2020 BMTTチャレンジのトラック3で1位を獲得した。

ABSTRACT

Multiple object tracking (MOT) is a crucial task in computer vision society. However, most tracking-by-detection MOT methods, with available detected bounding boxes, cannot effectively handle static, slow-moving and fast-moving camera scenarios simultaneously due to ego-motion and frequent occlusion. In this work, we propose a novel tracking framework, called "instance-aware MOT" (IA-MOT), that can track multiple objects in either static or moving cameras by jointly considering the instance-level features and object motions. First, robust appearance features are extracted from a variant of Mask R-CNN detector with an additional embedding head, by sending the given detections as the region proposals. Meanwhile, the spatial attention, which focuses on the foreground within the bounding boxes, is generated from the given instance masks and applied to the extracted embedding features. In the tracking stage, object instance masks are aligned by feature similarity and motion consistency using the Hungarian association algorithm. Moreover, object re-identification (ReID) is incorporated to recover ID switches caused by long-term occlusion or missing detection. Overall, when evaluated on the MOTS20 and KITTI-MOTS dataset, our proposed method won the first place in Track 3 of the BMTT Challenge in CVPR2020 workshops.

研究の動機と目的

• 静的・動的カメラ環境における頻繁な遮蔽を伴う追跡バイ検出手法の限界を克服すること。
• 背景ノイズを低減するため、インスタンスセグメンテーションマスクを特徴抽出に統合することで追跡のロバスト性を向上させること。
• トラックアソシエーションにおいて、物体のサイズ、方向、速度を統合的に考慮することで、運動の一貫性モデリングを強化すること。
• 短時間のリトリーブとReIDモジュールを用いて、IDスイッチを低減し、欠落した検出を回復すること。
• 静的および動的カメラ環境を含む多様なMOTSベンチマークで最先端のパフォーマンスを達成すること。

提案手法

• マルチタスク損失関数を用いて、検出、セグメンテーション、特徴埋め込みを同時に最適化できるように、追加の埋め込みヘッドを備えた変更版マスクR-CNNをエンドツーエンドで訓練する。
• 予測されたインスタンスマスクから空間的アテンションマップを生成し、それらを埋め込み特徴の前景領域に重み付けすることで、インスタンスに配慮した特徴を強化する。
• オンライン追跡では、マスクIoU、埋め込み特徴のコサイン類似度、運動の一貫性の組み合わせに基づいてハンガリアンアルゴリズムを用いて検出をアソシエートする。
• 運動の一貫性は、短時間ウィンドウ内の物体の軌道から計算された運動ベクトルを用いてモデリングされ、コサイン類似度がトラックの一致に用いられる。
• 短時間リトリーブ（STR）モジュールは、時間的ウィンドウ内での孤立した検出を再アソシエートすることで、欠落した検出を回復する。
• 長時間の遮蔽に対しては、オブジェクト再識別（ReID）を適用し、延長されたギャップ間で特徴を一致させることでIDスイッチを解消する。

実験結果

リサーチクエスチョン

• RQ1 セグメンテーションマスクから導出されるインスタンスに配慮した特徴は、遮蔽やカメラの動きが頻繁に発生する複雑な状況下でも追跡のロバスト性を向上させることができるか？
• RQ2 速度、方向、サイズを含む運動の一貫性は、追跡バイ検出フレームワークにおけるトラックアソシエーションを向上させるために効果的にモデリングできるか？
• RQ3 短時間リトリーブとReIDモジュールの組み合わせは、長時間の遮蔽状況下でIDスイッチの低減と欠落検出の回復にどの程度寄与するか？
• RQ4 統合されたフレームワークは、カメラの動きやオブジェクトの種類が異なるMOTS20やKITTI-MOTSといった多様なデータセットにおいて、強力なパフォーマンスを達成できるか？
• RQ5 空間的アテンションとインスタンスレベルの特徴の統合は、MOTSにおける標準的なボクシングボックスベースの特徴抽出と比較して、どのように優れているか？

主な発見

• IA-MOTは、MOTS20とKITTI-MOTSデータセットを統合した上で69.8 sMOTSAのスコアを達成し、BMTTチャレンジ2020のトラック3で1位を獲得した。
• MOTS20データセットでは、公開の検出器のみを用いて69.4 sMOTSAを達成し、プライベート検出器を用いた最良の手法とほぼ同等の性能を示した。
• KITTI-MOTSでは、自動車追跡タスクで3位、歩行者追跡タスクで5位を記録し、オブジェクトの種別を越えて優れた一般化性能を示した。
• 空間的アテンションの統合により、埋め込み特徴における前景コンテンツの強調と背景ノイズの低減が実現され、特徴の質が向上した。
• 運動の一貫性モジュールは、特にオブジェクト密度が高く頻繁に遮蔽が発生する状況下で、トラックアソシエーションの正確性を顕著に向上させた。
• 短時間リトリーブとReIDの組み合わせは、長時間の遮蔽状況下でIDスイッチの低減と欠落検出の回復に効果を発揮した。