[論文レビュー] SOT for MOT.

Qizheng He, Jianan Wu+2 more|arXiv (Cornell University)|Dec 4, 2017

Video Surveillance and Tracking Methods参考文献 41被引用数 5

ひとこと要約

本論文は、複数対象追跡（MOT）における誤検出の低減と、深層学習に基づく外観モデルを用いたデータ連携の向上を図るために、単一対象追跡（SOT）を検出に基づくフレームワークに統合する新しいMOTトラッカーを提案する。MOT16ベンチマーク上で評価された結果、公的および非公開の検出結果を用いて最先端の性能を達成した。

ABSTRACT

In this paper we present a robust tracker to solve the multiple object tracking (MOT) problem, under the framework of tracking-by-detection. As the first contribution, we innovatively combine single object tracking (SOT) algorithms with multiple object tracking algorithms, and our results show that SOT is a general way to strongly reduce the number of false negatives, regardless of the quality of detection. Another contribution is that we show with a deep learning based appearance model, it is easy to associate detections of the same object efficiently and also with high accuracy. This appearance model plays an important role in our MOT algorithm to correctly associate detections into long trajectories, and also in our SOT algorithm to discover new detections mistakenly missed by the detector. The deep neural network based model ensures the robustness of our tracking algorithm, which can perform data association in a wide variety of scenes. We ran comprehensive experiments on a large-scale and challenging dataset, the MOT16 benchmark, and results showed that our tracker achieved state-of-the-art performance based on both public and private detections.

研究の動機と目的

• 検出品質に依存せずに、複数対象追跡（MOT）における誤検出を低減するため、単一対象追跡（SOT）を補完的な検出メカニズムとして活用すること。
• 深層学習に基づく外観モデルを用いて、複雑なシーンにおけるデータ連携の正確性と軌道の一貫性を向上させること。
• 検出に基づくフレームワーク内にSOTと深層外観モデリングを統合することで、多様な視覚的条件下でもトラッキングの堅牢性を向上させること。
• 公的および非公開の検出結果を用いて、MOT16ベンチマークで最先端の性能を達成すること。

提案手法

• SOTアルゴリズムをMOTパイプラインに統合し、以前に関連付けられた検出を再追跡することで、見逃された対象を再検出する。
• 検出間の正確で効率的なデータ連携を可能にするために、深層ニューラルネットワークに基づく外観モデルを採用する。
• 外観モデルをSOTおよびMOTの両コンponentsで使用することで、長時間にわたる軌道において対象の同一性を一貫して維持する。
• 外観モデルを用いて、遮蔽やごみの影響を受けても、一貫性のある長期間の対象軌道に検出を関連付ける。
• 深層学習の堅牢性を活用して、データ連携において多様で困難な視覚的シーンに対応する。
• 検出提案とSOTに基づく再検出を組み合わせることで、検出の品質に依存せずに誤検出を低減する。

実験結果

リサーチクエスチョン

• RQ1 検出品質に依存せずに、検出に基づくフレームワークにSOTを統合することで、MOTにおける誤検出を効果的に低減できるか？
• RQ2 深層学習に基づく外観モデルは、長時間にわたる対象軌道において、正確で堅牢なデータ連携を実現できるか？
• RQ3 外観モデルはSOTおよびMOTの両コンponentsを向上させ、複雑なシーンにおける全体的なトラッキングの堅牢性を向上させられるか？
• RQ4 提案手法は、MOT16のような大規模で困難なベンチマークにおいて、既存のトラッカーをどの程度上回るか？

主な発見

• SOTの統合により、検出品質が低くてもMOTにおける誤検出の数が顕著に減少した。
• 深層学習に基づく外観モデルにより、多様で困難なシーンにおいても、正確で効率的なデータ連携が可能になった。
• 公的および非公開の検出結果を用いて、MOT16ベンチマークで最先端の性能を達成した。
• 外観モデルは、見逃された対象を再検出することで、長時間にわたる軌道において対象の同一性を一貫して維持する上で重要な役割を果たした。
• SOTと深層外観モデリングの相乗効果により、複雑な環境でも強い堅牢性を示した。
• SOT統合は、MOT性能を向上させる一般的で効果的な戦略であることが結果から確認された。