[論文レビュー] Simple online and real-time tracking with occlusion handling

Mohammad Hossein Nasseri, Hadi Moradi+2 more|arXiv (Cornell University)|Mar 6, 2021

Video Surveillance and Tracking Methods参考文献 35被引用数 6

ひとこと要約

本論文は、外見特徴に依存せず、バウンディングボックスの位置とサイズという幾何的ヒントのみを用いて、遮蔽の処理と紛失したターゲットの再識別を実現する高速でオンラインの複数対象追跡アルゴリズムを提案する。信頼度ベースの遮蔽検出メカニズムを導入することで、SOTAの性能を達成し、MOT17ベンチマークにおいて、先行するオンライントラッカーと比較してIDスイッチが40%低減され、断片化が28%低減された。また、リアルタイム応用に適した高い速度を維持している。

ABSTRACT

Multiple object tracking is a challenging problem in computer vision due to difficulty in dealing with motion prediction, occlusion handling, and object re-identification. Many recent algorithms use motion and appearance cues to overcome these challenges. But using appearance cues increases the computation cost notably and therefore the speed of the algorithm decreases significantly which makes them inappropriate for online applications. In contrast, there are algorithms that only use motion cues to increase speed, especially for online applications. But these algorithms cannot handle occlusions and re-identify lost objects. In this paper, a novel online multiple object tracking algorithm is presented that only uses geometric cues of objects to tackle the occlusion and reidentification challenges simultaneously. As a result, it decreases the identity switch and fragmentation metrics. Experimental results show that the proposed algorithm could decrease identity switch by 40% and fragmentation by 28% compared to the state of the art online tracking algorithms. The code is also publicly available.

研究の動機と目的

• 外見特徴を一切使用せずに、オンライン複数対象追跡における遮蔽処理とターゲット再識別を解決すること。
• 高価なディープラーニングベースの外見埋め込みを避けることで、オンライン追跡における計算コストを低減すること。
• 遮蔽に対する耐性を高め、IDスイッチと断片化を低減しながらも、高い追跡速度を維持すること。
• バウンディングボックスの位置とサイズという幾何的ヒントのみで、外見ベースのSOTA手法と同等の性能を達成できることを示すこと。
• 高計算コストの外見モデルに依存しないことで、標準ハードウェア上でのリアルタイムデプロイを可能にすること。

提案手法

• 追跡に外見特徴を一切使用せず、検出されたバウンディングボックスの位置とサイズのみを幾何的ヒントとして用いる。
• 運動の一貫性と空間的重複に基づいて、ターゲットが遮蔽されているかどうかを予測する信頼度ベースの遮蔽処理メカニズムを導入する。
• 遮蔽を検出するために信頼度閾値 $ C_O $ を適用し、データアソシエーションにおける誤関連を抑制する。
• 遮蔽後のターゲット再識別を管理するために、2番目の信頼度閾値 $ C_T $ を使用し、トラックの連続性を安定化させる。
• SORTと同様に、バウンディングボックスの座標と寸法を用いてカルマンフィルタによる運動予測を実装する。
• 外見特徴ではなく、IoUと信頼度スコアに基づいてデータアソシエーションを実行するハンガリアン法を採用する。

実験結果

リサーチクエスチョン

• RQ1 オンライン複数対象追跡において、位置とサイズという幾何的ヒントのみで、遮蔽処理とターゲット再識別を効果的に実現できるか？
• RQ2 外見特徴を完全に避けることで、外見ベースのSOTA手法と同等の性能を維持できるか、その程度はどの程度か？
• RQ3 提案された信頼度ベースの遮蔽検出メカニズムは、IDスイッチと断片化の指標にどのように影響を与えるか？
• RQ4 トラッカーの性能は信頼度閾値 $ C_O $ と $ C_T $ に対してどの程度感受性を示し、最適な結果を得るためにはどのように調整できるか？
• RQ5 幾何的特徴のみのトラッカーは、標準ハードウェア上でリアルタイム性能を達成できるか？また、外見ベースのオンライントラッカーと同等またはそれを上回る性能を発揮できるか？

主な発見

• 提案アルゴリズムは、MOT17ベンチマークにおいて、SOTAのオンライン追跡アルゴリズムと比較して、IDスイッチ（IDS）が40%低減され、断片化（FM）が28%低減された。
• SDP検出を用いたMOT17データセットにおいて、外見ベースのSOTA手法（例：Deep SORT）と同等のMOTAを達成したが、外見特徴は一切使用していない。
• 最適パラメータ $ C_O = 0.75 $ および $ C_T = 0.35 $ を用いることで、MOTAが47.3に達し、パラメータ変動に対してほとんど感度を示さなかった。
• トラッカーは高い速度を維持しており、外見ベースの手法が高価なシステムですら5 FPS未満に低下するのに対し、標準ハードウェア上でもリアルタイム性能を達成した。
• 断片化（FM）の指標において、Deep SORTを上回り、遮蔽後のトラック連続性の処理が優れていることが示された。
• パラメータ変動に対して頑健であり、信頼度閾値の全範囲においてMOTAが1%未満、IDSが4%未満の変動にとどまった。