[논문 리뷰] Real-Time Multiple Object Tracking - A Study on the Importance of Speed

Samuel Murray|arXiv (Cornell University)|2017. 09. 11.

Video Surveillance and Tracking Methods참고 문헌 6인용 수 30

한 줄 요약

이 논문은 C++SORT를 제안하며, 운동 예측과 헝가리안 알고리즘 연동을 통해 세 가지 경계 상자 기반 유사도 측정법을 사용하는 추적-기반 검출 파рад림에 기반한 실시간 다중 객체 추적기를 제시한다. 이는 프레임 건너뛰기를 통해 실시간 성능를 달성할 경우 옥타마 액션 데이터셋에서 추적 정확도가 최대 90% 감소함을 보여주며, 실세계 구현을 위한 표준 벤치마크 지표의 타당성을 도전한다.

ABSTRACT

In this project, we implement a multiple object tracker, following the tracking-by-detection paradigm, as an extension of an existing method. It works by modelling the movement of objects by solving the filtering problem, and associating detections with predicted new locations in new frames using the Hungarian algorithm. Three different similarity measures are used, which use the location and shape of the bounding boxes. Compared to other trackers on the MOTChallenge leaderboard, our method, referred to as C++SORT, is the fastest non-anonymous submission, while also achieving decent score on other metrics. By running our model on the Okutama-Action dataset, sampled at different frame-rates, we show that the performance is greatly reduced when running the model - including detecting objects - in real-time. In most metrics, the score is reduced by 50%, but in certain cases as much as 90%. We argue that this indicates that other, slower methods could not be used for tracking in real-time, but that more research is required specifically on this.

연구 동기 및 목표

• 로봇 및 감시 응용 분야에서 실시간 작동이 가능한 빠르고 경쟁력 있는 다중 객체 추적기를 개발하는 것.
• 비디오 프레임 레이트에 맞추기 위해 프레임 건너뛰기를 사용할 경우 실시간 추적의 가능성을 탐구하는 것.
• 특히 검출 및 추적 기능이 동일 하드웨어에서 통합된 경우, 저프레임 레이트가 추적 성능에 미치는 영향을 평가하는 것.
• 검출 시간을 포함하지 않은 채로 추적기 속도를 측정하는 표준 관행을 도전하며, 이는 실세계 성능을 잘못 표현한다고 주장하는 것.
• 저프레임 레이트로 인한 성능 저하를 강조하고, 실시간 추적에 초점을 맞춘 새로운 벤치마크의 필요성을 주장하는 것.

제안 방법

• C++SORT는 일정 속도 운동 모델을 사용하여 다음 프레임에서 객체의 위치를 예측함으로써 SORT 알고리즘을 확장한다.
• 위치 및 형상 유사도를 기반으로 비용 행렬을 계산한 후, 헝가리안 알고리즘이 검출 결과와 예측 트랙을 연결한다.
• 세 가지 유사도 측정법을 구현한다: IoU (교차 영역 비율), 외형 비율을 고려한 IoU, 그리고 IoU와 외형 비율의 조합.
• 객체 검출을 순차적으로 프레임 단위로 처리하는 추적-기반 검출 프레임워크에서 작동한다.
• 실시간 작동을 시뮬레이션하기 위해 비디오를 추적기의 처리 속도에 맞게 다운샘플링하고, Okutama-Action 데이터셋에서 성능을 평가한다.
• 다양한 프레임 레이트에서 전체 파이프라인 실행(검출 및 추적 포함)을 통해 실세계 성능을 평가한다.

실험 결과

연구 질문

• RQ1 프레임 건너뛰기를 사용해 비디오 프레임 레이트에 맞추었을 때, C++SORT와 같은 빠른 추적기가 실시간 성능을 달성할 수 있는가?
• RQ2 검출 및 추적 기능이 저프레임 레이트에서 실시간으로 실행될 경우 성능가 어떻게 저하되는가?
• RQ3 속도 벤치마크에서 검출 시간을 생략하는 것이 실세계 추적기 성능을 얼마나 잘못 표현하는가?
• RQ4 저프레임 레이트에서의 성능 저하는 추적기 설계의 문제인지, 검출 품질의 문제인지 어느 정도인가?
• RQ5 외관 특징이 저프레임 레이트에서의 성능 손실을 완화시킬 수 있는가, 아니면 문제 자체가 구조적인가?

주요 결과

• C++SORT는 MOTChallenge 랭킹에서 익명이 아닌 추적기 중 가장 빠른 성능을 보이며 고속 성능을 입증한다.
• Okutama-Action 데이터셋에서 프레임 건너뛰기를 사용해 실시간으로 실행할 경우, 일부 지표에서 추적 성능이 최대 90% 감소하였다.
• 평균적으로 대부분의 지표에서 추적기가 실시간으로 작동하도록 강제된 경우 성능이 약 50% 감소하였다.
• 이 연구는 표준 벤치마크 결과가, 프레임 건너뛰기를 고려하지 않은 전체 프레임 레이트에서 측정된 것이므로 실세계 실시간 성능을 대변하지 못한다는 것을 드러냈다.
• 성능 저하는 주로 프레임 건너뛰기로 인한 시간 정보 손실로 인해 발생하며, 이는 트랙 연결 및 연속성에 영향을 준다.
• 결과적으로 느린 고정확도 추적기는 저프레임 레이트에 최적화되거나 효율적인 검출 파이프라인과 통합되지 않는 한 실시간 사용에는 비현실적일 수 있다.