[論文レビュー] Track to Detect and Segment: An Online Multi-Object Tracker

Jialian Wu, Jiale Cao+4 more|arXiv (Cornell University)|Mar 16, 2021

Video Surveillance and Tracking Methods参考文献 63被引用数 12

ひとこと要約

TraDeS は、コストボリュームベースのアソシエーションとモーションガイドド特徴ワープモジュールを用いてトラッキングの手がかりを活用することで、検出とセグメンテーションを統合的に実行するエンドツーエンドのオンラインマルチオブジェクトトラッカーを提案する。リアルタイム推論を実現し、MOT、nuScenes、MOTS、YouTube-VISベンチマークで最先端の性能を達成しており、遮蔽や運動ブラーの下でも精度とロバスト性において先行手法を上回っている。

ABSTRACT

Most online multi-object trackers perform object detection stand-alone in a neural net without any input from tracking. In this paper, we present a new online joint detection and tracking model, TraDeS (TRAck to DEtect and Segment), exploiting tracking clues to assist detection end-to-end. TraDeS infers object tracking offset by a cost volume, which is used to propagate previous object features for improving current object detection and segmentation. Effectiveness and superiority of TraDeS are shown on 4 datasets, including MOT (2D tracking), nuScenes (3D tracking), MOTS and Youtube-VIS (instance segmentation tracking). Project page: https://jialianwu.com/projects/TraDeS.html.

研究の動機と目的

• 検出ベースのトラッキングフレームワークにおける非効率性とエンドツーエンド最適化の欠如に対処すること。
• 検出時にトラッキングの手がかりを無視する統合的検出とトラッキング手法の制限を克服すること。
• 共有バックボーンでの訓練において再識別（re-ID）損失と検出損失の不適合性を解消すること。
• 遮蔽や運動ブラーなどの困難な状況下での検出とセグメンテーションのロバスト性を向上させること。
• 外見埋め込みから得られる動きの手がかりを用いて正確な長期的データアソシエーションを実現すること。

提案手法

• フレーム間のオブジェクト埋め込み間の一致類似度を計算するコストボリュームベースのアソシエーション（CVA）モジュールを導入し、トラッキングオフセットを推定する。
• 予測されたトラッキングオフセットをモーションの手がかりとして用い、過去のフレームから現在のフレームへ特徴を伝搬するモーションガイドド特徴ワッパー（MFW）をガイドする。
• 検出とトラッキングを統合的に最適化する統一ネットワークを採用し、コストボリュームに再識別（re-ID）の監視を埋め込んでクラス間およびクラス内分散をバランスさせる。
• 以前のフレームからの特徴伝搬を活用し、遮蔽やぼやけたオブジェクトに対しても現在の検出とセグメンテーションを強化する。
• シンプルなセグメンテーションブランチを追加することで、エンドツーエンドの訓練を維持したままインスタンスセグメンテーショントラッキングにフレームワークを拡張する。
• コストボリュームを介してクラス間分散を暗黙的にモデル化することで、検出損失と整合性を持つ再識別（re-ID）損失を設計する。

実験結果

リサーチクエスチョン

• RQ1 遮蔽や運動ブラーのような困難な視覚的条件下で、トラッキングの手がかりを検出に効果的に統合することで、ロバスト性が向上するか？
• RQ2 共有バックボーンでの訓練において、再識別（re-ID）と検出を劣化させることなく同時に最適化することは可能か？
• RQ3 コストボリュームベースのアプローチによって、大規模な動きや低フレームレート下でも正確な長期的データアソシエーションが可能か？
• RQ4 過去のフレームからの特徴伝搬が、現在のフレームにおける検出とセグメンテーションにどの程度向上効果をもたらすか？
• RQ5 統一的でエンドツーエンドのフレームワークは、2段階の検出ベーストラッキングおよび既存の統合的検出・トラッキング手法を上回るか？

主な発見

• TraDeS は MOT16 および MOT17 ベンチマークで最先端の性能を達成し、それぞれ 15 FPS で 2.5 MOTA および 1.8 MOTA の点数を、2番目に良いトラッカーを上回った。
• nuScenes 3D トラッキングベンチマークでは、車両クラスで 23.2 AMOTA および 1.07 AMOTP を達成し、先行する単眼手法を大きく上回った。
• MOTS におけるインスタンスセグメンテーショントラッキングでは、ベースラインから IDF1 を 16.3 ポイント向上させ、精度と速度の両面で TrackR-CNN を上回った。
• YouTube-VIS では、ベースラインから AP を 6.2 ポイント向上させ、長期的で長距離のトラッキングへの強い汎化能力を示した。
• アブレーションスタディの結果、CVA および MFW モジュールの両方が不可欠であり、特徴伝搬が遮蔽下での検出性能を顕著に向上させた。
• 提案された re-ID 損失の設計は、検出と再識別の目的を効果的にバランスさせ、検出性能の低下を回避した。