[논문 리뷰] Video object tracking based on YOLOv7 and DeepSORT

Feng Yang, Xingle Zhang외 1명|arXiv (Cornell University)|2022. 07. 25.

Video Surveillance and Tracking Methods인용 수 46

한 줄 요약

이 논문은 DeepSORT 프레임워크에서 YOLOv5를 YOLOv7로 교체하여 멀티 객체 추적(MOT)에 대한 YOLOv7-DeepSORT를 제안하고, YOLOv5-DeepSORT와 비교해 MOT16에서 추적 정확도가 향상됨을 보여준다.

ABSTRACT

Multiple object tracking (MOT) is an important technology in the field of computer vision, which is widely used in automatic driving, intelligent monitoring, behavior recognition and other directions. Among the current popular MOT methods based on deep learning, Detection Based Tracking (DBT) is the most widely used in industry, and the performance of them depend on their object detection network. At present, the DBT algorithm with good performance and the most widely used is YOLOv5-DeepSORT. Inspired by YOLOv5-DeepSORT, with the proposal of YOLOv7 network, which performs better in object detection, we apply YOLOv7 as the object detection part to the DeepSORT, and propose YOLOv7-DeepSORT. After experimental evaluation, compared with the previous YOLOv5-DeepSORT, YOLOv7-DeepSORT performances better in tracking accuracy.

연구 동기 및 목표

• 탐지 기반 추적(DBT) 프레임워크에서 다중 객체 추적(MOT) 성능을 동기부여하고 향상시킨다.
• YOLOv7의 우수한 탐지를 활용하여 DeepSORT 내에서 추적 정확도를 향상시킨다.
• 표준 MOT16 시퀀스에서 YOLOv5-DeepSORT와의 실증적 비교를 제공하다.

제안 방법

• DeepSORT 추적 파이프라인에서 객체 탐지기로 YOLOv7을 통합한다.
• YOLOv7과 ReID 기반 외관 모델을 각각 독립적으로 학습한다.
• 모션 예측에 칼만 필터를 사용하고 데이터 연관에 헝가리 알고리즘을 사용한다.
• ID 스위치를 줄이기 위해 DeepSORT의 매칭 캐캐이드와 외관 특징을 포함한다.

실험 결과

연구 질문

• RQ1 DeepSORT에서 YOLOv5를 YOLOv7으로 교체하면 MOT16에서 MOT 정확도와 아이덴티티 보존이 향상되는가?
• RQ2 다양한 YOLOv5 모델 크기(s/m/l)에 대해 YOLOv7-DeepSORT가 YOLOv5-DeepSORT와 비교할 때 MOTA, MOTP, IDF1 측면에서 어떤 차이가 있는가?
• RQ3 탐지 백본이 ID, ID 스위치 및 추적 수명 주기 지표(ML/MT/FP/FN)에 미치는 영향은 무엇인가?

주요 결과

• YOLOv7-DeepSORT는 MOT16 시퀀스에서 YOLOv5-DeepSORT보다 더 높은 MOTA, MOTP 및 IDF1을 달성한다.
• ID 스위치는 YOLOv7의 경우 YOLOv5l보다 적어 아이덴티티 보존이 향상되었음을 시사한다.
• YOLOv7-DeepSORT는 다양한 YOLOv5 백본에서 전반적으로 더 나은 추적 성능을 보여주며, MOTA와 IDF1에서 뚜렷한 이점을 보인다.
• 향상은 MT/ML 및 FP/FN 수의 비례하거나 허용 가능한 변화를 동반한다.