[論文レビュー] Video object tracking based on YOLOv7 and DeepSORT

Feng Yang, Xingle Zhang+1 more|arXiv (Cornell University)|Jul 25, 2022

Video Surveillance and Tracking Methods被引用数 46

ひとこと要約

本論文はYOLOv7-DeepSORTを提案し、DeepSORTフレームワークにおけるYOLOv5をYOLOv7に置換したマルチオブジェクト追跡（MOT）を実現し、MOT16でYOLOv5-DeepSORTと比較して追跡精度が向上することを示す。

ABSTRACT

Multiple object tracking (MOT) is an important technology in the field of computer vision, which is widely used in automatic driving, intelligent monitoring, behavior recognition and other directions. Among the current popular MOT methods based on deep learning, Detection Based Tracking (DBT) is the most widely used in industry, and the performance of them depend on their object detection network. At present, the DBT algorithm with good performance and the most widely used is YOLOv5-DeepSORT. Inspired by YOLOv5-DeepSORT, with the proposal of YOLOv7 network, which performs better in object detection, we apply YOLOv7 as the object detection part to the DeepSORT, and propose YOLOv7-DeepSORT. After experimental evaluation, compared with the previous YOLOv5-DeepSORT, YOLOv7-DeepSORT performances better in tracking accuracy.

研究の動機と目的

• 検出ベースの追跡（DBT）フレームワークにおけるMOT性能を動機付け、向上させる。
• DeepSORT内でYOLOv7の優れた検出を活用して追跡精度を高める。
• 標準的なMOT16シーケンスでYOLOv5-DeepSORTと実証的に比較する。

提案手法

• DeepSORT追跡パイプラインにおける物体検出器としてYOLOv7を統合する。
• YOLOv7と再識別（ReID）に基づく外観モデルを別々に訓練する。
• 運動予測にはカーマンフィルタ、データ関連にはHungarianアルゴリズムを用いる。
• DeepSORTのマッチングカスケードと外観特徴を取り入れてIDスイッチを減らす。

実験結果

リサーチクエスチョン

• RQ1 DeepSORTでYOLOv5をYOLOv7に置換するとMOT16での精度とアイデンティティ保持は向上するか？
• RQ2 YOLOv7-DeepSORTはYOLOv5-DeepSORTと比較して、YOLOv5モデルサイズ（s/m/l）ごとにMOTA、MOTP、IDF1はどう変わるか？
• RQ3 検出バックボーンが、ID、IDスイッチ、追跡ライフサイクル指標（ML/MT/FP/FN）に与える影響は？

主な発見

モデル	MOTA	MOTP	IDF1	IDs	ML	MT	FP	FN
YOLOv5s	39.60	80.85	52.39	432	39.65%	15.45%	5375	60882
YOLOv5m	39.01	81.87	51.56	432	33.27%	17.41%	7612	59297
YOLOv5l	40.77	81.96	52.43	547	31.92%	20.70%	7853	56990
YOLOv7	40.82	82.01	53.65	514	32.11%	20.12%	7940	57434

• YOLOv7-DeepSORTはMOT16シーケンスでYOLOv5-DeepSORTより高いMOTA、MOTP、IDF1を達成する。
• YOLOv7のIDスイッチはYOLOv5lより少なく、アイデンティティ保持が改善。
• YOLOv7-DeepSORTは様々なYOLOv5バックボーンで一般的に追跡性能が向上し、MOTAとIDF1に顕著な利得を示す。
• 改善はMT/MLおよびFP/FNの数の比較可能または許容範囲の変化とともに生じる。