[論文レビュー] A Simple Baseline for Multi-Object Tracking.

Yifu Zhang, Chunyu Wang+3 more|arXiv (Cornell University)|Apr 4, 2020

Video Surveillance and Tracking Methods参考文献 25被引用数 76

ひとこと要約

FairMOT は、2つの同種のブランチを用いて、オブジェクト検出と再識別（re-ID）を同時に最適化することで、マルチオブジェクトトラッキングのための単一ネットワークアプローチを提案する。タスク間の公平性を確保し、ROI-Align をより頑健な特徴抽出法に置き換えることで、複数のベンチマークで最先端の性能を達成し、IDスイッチを顕著に低減し、先行手法を上回る性能を発揮する。

ABSTRACT

There has been remarkable progress on object detection and re-identification (re-ID) in recent years which are the key components of multi-object tracking. However, little attention has been focused on jointly accomplishing the two tasks in a single network. Our study shows that the previous attempts ended up with degraded accuracy mainly because the re-ID task is not fairly learned which causes many identity switches. The unfairness lies in two-fold: (1) they treat re-ID as a secondary task whose accuracy heavily depends on the primary detection task. So training is largely biased to the detection task but ignores the re-ID task; (2) they use ROI-Align to extract re-ID features which is directly borrowed from object detection. However, this introduces a lot of ambiguity in characterizing objects because many sampling points may belong to disturbing instances or background. To solve the problems, we present a simple approach \emph{FairMOT} which consists of two homogeneous branches to predict pixel-wise objectness scores and re-ID features. The achieved fairness between the tasks allows \emph{FairMOT} to obtain high levels of detection and tracking accuracy and outperform previous state-of-the-arts by a large margin on several public datasets. The source code and pre-trained models are released at this https URL.

研究の動機と目的

• マルチオブジェクトトラッキングにおける検出と再識別タスク間の学習バランスの不均衡を是正すること。
• 再識別タスクの不公平な学習によって引き起こされるIDスイッチを低減すること。
• ROI-Align の置き換えにより、再識別特徴抽出における曖昧性を解消すること。
• 検出とre-IDの両方のタスクに同種のブランチを備えた統合ネットワークを設計し、タスクの公平性を向上させること。
• 複雑なアーキテクチャや後処理を用いずに、最先端のトラッキング精度を達成すること。

提案手法

• FairMOT は、ピクセル単位のオブジェクトネススコアを予測するブランチと、re-ID特徴を予測するブランチを備えた単一ネットワークを用いる。
• re-IDブランチは、背景やノイズからポイントをサンプリングする可能性があるROI-Alignがもたらす曖昧性を回避する特徴抽出法を採用する。
• 検出とre-IDの目的関数を公平に重み付けしたバランスの取れた損失関数を用いて、エンドツーエンドで学習を行う。
• 領域提案に依存せず、特徴マップを直接re-IDに使用することで、ノイズを低減し、特徴の一貫性を向上させる。
• 追加のヘッドネットワークや複雑な後処理を避けることで、シンプルさと効率性を維持する。
• 学習戦略により、re-IDタスクが最適化の過程で二次的になるのではなく、同等に重視されるようにする。

実験結果

リサーチクエスチョン

• RQ1 検出と再識別を公平に最適化した場合、両タスクの共同学習がトラッキング性能に与える影響は何か？
• RQ2 ROI-Align をより頑健な特徴抽出法に置き換えることで、re-ID精度とIDの一貫性にどのような影響があるか？
• RQ3 単一ブランチアーキテクチャでありながら、複雑なコンponentsを用いずに最先端の性能を達成できるか？
• RQ4 過去の手法が高いIDスイッチ率を示す理由は何か、それにもかかわらず検出精度は高いのか？
• RQ5 タスクの公平性がエンドツーエンドマルチオブジェクトトラッキングにおけるre-ID性能をどの程度向上させるか？

主な発見

• FairMOT は、複数の公開マルチオブジェクトトラッキングベンチマークで最先端の性能を達成し、先行SOTA手法を上回る。
• 検出とre-IDタスク間の公平な学習を確保することで、IDスイッチが顕著に低減される。
• ROI-Align をより頑健な特徴抽出戦略に置き換えることで、re-ID特徴の品質と一貫性が向上する。
• 検出とre-IDの両方のタスクに同種のブランチを用いることで、最適化と性能が向上する。
• 複雑な後処理や補助ネットワークを必要とせず、検出とre-IDの両方で高い精度を達成する。
• ソースコードと事前学習済みモデルが公開されており、再現性とさらなる研究を可能にしている。