[論文レビュー] TubeTK: Adopting Tubes to Track Multi-Object in a One-Step Training Model

Bo Pang, Yizhuo Li+3 more|arXiv (Cornell University)|Jun 10, 2020

Video Surveillance and Tracking Methods参考文献 45被引用数 10

ひとこと要約

TubeTKは、空間的・時間的対象位置および運動トレースを統合的に符号化する3次元バウンディングチューブ（Btubes）を回帰する1ステップ、エンドツーエンドのマルチオブジェクトトラッキングモデルを提案する。外部検出器や手作業特徴に依存せずに、3次元畳み込みニューラルネットワーク（3D CNN）を用いて時空間特徴を抽出することで、MOTベンチマークで最先端の性能を達成し、プライベートな検出結果を用いる手法を上回り、遮蔽に対する優れたロバスト性と少ない誤検出数を示した。

ABSTRACT

Multi-object tracking is a fundamental vision problem that has been studied for a long time. As deep learning brings excellent performances to object detection algorithms, Tracking by Detection (TBD) has become the mainstream tracking framework. Despite the success of TBD, this two-step method is too complicated to train in an end-to-end manner and induces many challenges as well, such as insufficient exploration of video spatial-temporal information, vulnerability when facing object occlusion, and excessive reliance on detection results. To address these challenges, we propose a concise end-to-end model TubeTK which only needs one step training by introducing the ``bounding-tube" to indicate temporal-spatial locations of objects in a short video clip. TubeTK provides a novel direction of multi-object tracking, and we demonstrate its potential to solve the above challenges without bells and whistles. We analyze the performance of TubeTK on several MOT benchmarks and provide empirical evidence to show that TubeTK has the ability to overcome occlusions to some extent without any ancillary technologies like Re-ID. Compared with other methods that adopt private detection results, our one-stage end-to-end model achieves state-of-the-art performances even if it adopts no ready-made detection results. We hope that the proposed TubeTK model can serve as a simple but strong alternative for video-based MOT task. The code and models are available at https://github.com/BoPang1996/TubeTK.

研究の動機と目的

• 2段階のトラッキング・バイ・検出（TBD）フレームワークの限界、すなわち検出品質への依存、遮蔽処理の悪さ、時空間特徴学習の断片化を解消するため。
• 空間的および時間的情報をより効果的に統合する、シンプルでエンドツーエンドの1ステップ学習パラダイムを提供するため。
• トレーニング性能を維持または向上させながら、外部検出モデル、Re-ID、オプティカルフロー、その他の補助特徴に依存しないようにするため。
• 装飾のないコンactな完全畳み込み3次元CNNモデルが、装飾のない状態でマルチオブジェクトトラッキングにおいて最先端の性能を達成できることを示すため。

提案手法

• オブジェクトの軌跡を表現するため、2次元空間的次元と1次元時間的次元にまたがる15点で定義される「バウンディングチューブ」（Btubes）という3次元時空間的提案を導入する。
• ビデオクリップから直接、空間的・時間的特徴を統合的に抽出する3次元畳み込みニューラルネットワーク（3D CNN）バックボーンを採用し、分離された検出とトラッキングの段階を置き換える。
• アンカーフリーでFPNベースの検出ヘッドを採用し、Btubesをエンドツーエンドで回帰することで、1回の順伝播でオブジェクトの軌跡を直接予測可能にする。
• 学習可能なパrameterを含まないシンプルなIoUベースの後処理ステップを用いて、予測されたBtubesを最終的なトラッキングIDに連結する。
• Btubesに埋め込まれた固有の運動の一貫性を活用することで、Re-IDや外観モデリングを必要とせずに、遮蔽時におけるロバスト性を向上させる。
• 全モデルを1つのエンドツーエンドの学習プロセスで訓練し、事前学習済み検出器や補助的監視の必要性を排除する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みオブジェクト検出器に依存しない1ステップ、エンドツーエンドのディープラーニングモデルが、マルチオブジェクトトラッキングで最先端の性能を達成できるか？
• RQ2 従来の2段階TBD手法と比較して、3次元バウンディングチューブを回帰するモデルは、深刻なオブジェクト遮蔽をどれだけ効果的に処理できるか？
• RQ3 オプティカルフロー、ポーズ、セグメンテーションなどの手作業特徴を一切含まない3D CNNベースのモデルが、正確なマルチオブジェクトトラッキングに十分な時空間特徴を抽出できるか？
• RQ4 Btubesを軌跡の事前知識として用いることで、遮蔽時のトラッキングのロバスト性が向上し、誤検出数が減少するか？
• RQ5 シンプルで完全畳み込みの1段階トラッカーは、Re-IDやプライベートな検出結果を用いる複雑な多段階トラッカーを上回れるか？

主な発見

• TubeTKは、MOT16で66.9のMOTAという新たな最先端性能を達成し、プライベートな検出結果を用いる手法ですら上回った。
• MOT17では64.0のMOTAを達成し、公に利用可能な検出結果に依存する他の最先端手法（54.5 MOTA）を上回り、補助データなしで優れた一般化性能を示した。
• 遮蔽時、特に可視性が50％未満に低下した場合に、誤検出数（FN）を顕著に低減した。これは、オブジェクト遮蔽に対する優れたロバスト性を示している。
• リンク処理は、中心位置やスケールに25％のジャイターリングがある場合でも、MOTAが86以上を維持するほど、ノイズの多いBtube予測に対して非常に安定していた。これは、後処理パイプラインの安定性を裏付けた。
• IDスイッチ（IDS）は高いが、IDF1は競争力を持っており、Btubeに基づく運動モデリングのみで、外観特徴を必要としないまま強力なトラッキング性能を達成できることを示した。
• アブレーションスタディにより、TubeTKの性能が外部検出モデルに依存していないことが確認され、公に利用可能な検出結果のみを用いても、検出ベースの最先端手法を上回った。