[論文レビュー] SiamMOT: Siamese Multi-Object Tracking

Bing Shuai, Andrew Berneshawi+3 more|arXiv (Cornell University)|May 25, 2021

Video Surveillance and Tracking Methods参考文献 75被引用数 5

ひとこと要約

SiamMOT は、追跡精度の向上を図るために、領域ベースの特徴を用いて明示的な運動をモデル化する、シアンプスベースのオンラインマルチオブジェクトトラッキングフレームワークを提案する。Faster R-CNN ディテクタと明示的運動モデル（EMM）を統合することで、MOT17（65.9 MOTA）、TAO-person（41.1 TrackAP）、HiEve で最先端の性能を達成し、従来手法を上回るが、1枚のGPUで17 FPSで動作する。

ABSTRACT

In this paper, we focus on improving online multi-object tracking (MOT). In particular, we introduce a region-based Siamese Multi-Object Tracking network, which we name SiamMOT. SiamMOT includes a motion model that estimates the instance's movement between two frames such that detected instances are associated. To explore how the motion modelling affects its tracking capability, we present two variants of Siamese tracker, one that implicitly models motion and one that models it explicitly. We carry out extensive quantitative experiments on three different MOT datasets: MOT17, TAO-person and Caltech Roadside Pedestrians, showing the importance of motion modelling for MOT and the ability of SiamMOT to substantially outperform the state-of-the-art. Finally, SiamMOT also outperforms the winners of ACM MM'20 HiEve Grand Challenge on HiEve dataset. Moreover, SiamMOT is efficient, and it runs at 17 FPS for 720P videos on a single modern GPU. Codes are available in \url{https://github.com/amazon-research/siam-mot}.

研究の動機と目的

• オンラインマルチオブジェクトトラッキング（MOT）を、シアンプストラッキングフレームワーク内でオブジェクトの運動を明示的にモデル化することで向上させること。
• 高速移動やポーズ変形といった困難な状況下でのトラッキングの頑健性に、明示的モデルと暗黙的モデルの運動モデリングが与える影響を調査すること。
• エンドツーエンドでトレーニング可能で、リアルタイムデプロイメントに適した、領域ベースのシアンプストラッカーを開発すること。
• MOT17、TAO-person、HiEve を含む標準的なMOTベンチマークで、既存の最先端手法を上回ること。
• アブレーションおよび感度解析を通じて、オンラインMOTにおける運動モデリングの有効性を実証すること。

提案手法

• SiamMOT は、Faster R-CNN ディテクタと、連続するフレーム間の運動を推定するために領域ベースの特徴を用いるシアンプスネットワークを統合する。
• 2つのバリエーションを導入：特徴から運動を推定する暗黙的運動モデル（IMM）と、領域特徴上でテンプレートマッチングを実行して変位を予測する明示的運動モデル（EMM）。
• 明示的運動モデル（EMM）は、シアンプスアーキテクチャを用いて、テンプレート（前フレームの検出結果）と検索領域（現在フレーム）を比較し、運動推定のためのマッチング関数を学習する。
• トラッカーはカルマンフィルタを用いて運動予測を精緻化し、検出信頼度と可視性のしきい値を用いてトラジェクトリを維持する。
• 構造化損失を用いてエンドツーエンドでトレーニングされ、検出とトラッキングの両方のパフォーマンスを最適化する。
• ハイパーパrameter α（検出信頼度のしきい値）と β（可視性信頼度のしきい値）はグリッドサーチにより調整され、誤検出と見逃しのバランスをとる。

実験結果

リサーチクエスチョン

• RQ1 明示的運動モデリングと暗黙的運動モデリングの間で、トラッキング精度と頑健性にどのような差が生じるか？
• RQ2 高速移動やポーズ変形といった困難なトラッキングシナリオにおいて、運動モデリングが性能にどの程度寄与するか？
• RQ3 ポイントベースまたは特徴ベースのトラッカーと比較して、領域ベースのシアンプストラッカーはオンラインMOT設定で優れているか？
• RQ4 MOT17、TAO-person、HiEve といった多様なデータセットにおいて、SiamMOT は最先端手法を上回る性能を示すか？
• RQ5 トラッキングの正確性と再現率のバランスを最適化するための推論しきい値 α と β の最適な設定は何か？

主な発見

• 明示的運動モデル（EMM）を搭載したSiamMOT は、DLA-34バックボーンを用いてMOT17で65.9 MOTA および63.3 IDF1 を達成し、すべての先行手法を上回った。
• 大規模な TAO-person データセットでは、Tracktor++ の36.7（TrackAP）から41.1 に向上し、多様なシーンにわたる強力な一般化性能を示した。
• HiEve データセットでは、ACM MM’20 HiEve Grand Challenge の優勝者をも上回り、複雑で現実的なトラッキングシナリオにおける優位性を確認した。
• 高速移動やポーズ変形が生じる状況では、明示的運動モデル（EMM）が顕著にトラッキングパフォーマンスを向上させ、運動モデリングが最も重要となる。
• 感度解析の結果、MOT17では α = 0.6 と β = 0.4 が誤検出と見逃しのバランスを最適化する最良の設定であり、しきい値が高すぎるとMOTAが3%以上低下することが判明した。
• SiamMOT は1枚の最新GPUで17 FPSで動作し、リアルタイムアプリケーションに適した高い効率性を示した。