[논문 리뷰] SOT for MOT.

Qizheng He, Jianan Wu외 2명|arXiv (Cornell University)|2017. 12. 04.

Video Surveillance and Tracking Methods참고 문헌 41인용 수 5

한 줄 요약

이 논문은 추적-검출 프레임워크에 단일 객체 추적(SOT)을 통합하여, 깊이 학습 기반의 외관 모델을 활용해 거짓 음성 감소와 정확한 데이터 연동을 달성함으로써, false negative를 크게 줄이고 성능을 향상시키는 새로운 MOT 트래커를 제안한다. 공개 및 비공개 검출 결과를 사용하여 MOT16 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하였다.

ABSTRACT

In this paper we present a robust tracker to solve the multiple object tracking (MOT) problem, under the framework of tracking-by-detection. As the first contribution, we innovatively combine single object tracking (SOT) algorithms with multiple object tracking algorithms, and our results show that SOT is a general way to strongly reduce the number of false negatives, regardless of the quality of detection. Another contribution is that we show with a deep learning based appearance model, it is easy to associate detections of the same object efficiently and also with high accuracy. This appearance model plays an important role in our MOT algorithm to correctly associate detections into long trajectories, and also in our SOT algorithm to discover new detections mistakenly missed by the detector. The deep neural network based model ensures the robustness of our tracking algorithm, which can perform data association in a wide variety of scenes. We ran comprehensive experiments on a large-scale and challenging dataset, the MOT16 benchmark, and results showed that our tracker achieved state-of-the-art performance based on both public and private detections.

연구 동기 및 목표

• 단일 객체 추적(SOT)을 보완 검출 기반으로 활용하여 다중 객체 추적(MOT)에서 거짓 음성 문제를 해결하고자 한다.
• 깊이 학습 기반의 외관 모델을 활용해 복잡한 환경에서의 데이터 연동 정확도와 궤적 일관성을 향상시키고자 한다.
• 추적-검출 프레임워크 내에서 SOT와 깊이 학습 기반 외관 모델을 융합하여 다양한 시각 조건에서도 강력한 성능을 확보하고자 한다.
• 공개 및 비공개 검출 결과를 모두 사용하여 MOT16 벤치마크에서 최신 기술 수준 성능을 달성하고자 한다.

제안 방법

• 이전에 연동된 검출 결과를 추적함으로써 놓친 객체를 재검출하기 위해 SOT 알고리즘을 MOT 파이프라인에 통합한다.
• 검출 간 정확하고 효율적인 데이터 연동을 가능하게 하기 위해 딥 네트워크 기반의 외관 모델을 활용한다.
• 장기간의 궤적 동안 객체 정체성을 일관되게 유지하기 위해 SOT 및 MOT 구성 요소 모두에서 외관 모델을 사용한다.
• 막힘과 혼잡함에도 불구하고 검출 결과를 일관되고 장기적인 객체 궤적으로 연동하기 위해 외관 모델을 적용한다.
• 딥 러닝의 강력함을 활용해 데이터 연동 과정에서 다양한 어려운 시각 환경을 효과적으로 처리한다.
• 검출 제안과 SOT 기반 재검출을 융합하여 검출 품질에 의존하지 않고 거짓 음성을 감소시킨다.

실험 결과

연구 질문

• RQ1 추적-검출 프레임워크에 SOT를 통합하는 것이 검출 품질에 관계없이 MOT에서 거짓 음성을 효과적으로 줄일 수 있는가?
• RQ2 딥 러닝 기반의 외관 모델이 장기간의 객체 궤적을 통해 정확하고 강력한 데이터 연동을 얼마나 효과적으로 가능하게 하는가?
• RQ3 외관 모델이 SOT 및 MOT 구성 요소를 동시에 향상시켜 복잡한 환경에서의 전체 추적 강성도를 향상시킬 수 있는가?
• RQ4 제안된 방법이 MOT16과 같은 대규모이고 도전적인 벤치마크에서 기존 트래커보다 얼마나 뛰어난 성능을 보이는가?

주요 결과

• SOT 통합은 검출 품질이 낮을 경우에도 MOT에서 거짓 음성 수를 크게 줄였다.
• 딥 러닝 기반의 외관 모델은 다양한 어려운 환경에서 매우 정확하고 효율적인 데이터 연동을 가능하게 하였다.
• 공개 및 비공개 검출 결과를 모두 사용하여 MOT16 벤치마크에서 최신 기술 수준 성능을 달성하였다.
• 외관 모델은 놓친 객체를 재검출함으로써 장기간의 궤적에서 객체 정체성을 일관되게 유지하는 데 핵심적인 역할을 하였다.
• SOT와 깊이 학습 기반 외관 모델의 상호보완적 작용 덕분에 복잡한 환경에서도 뛰어난 강성도를 보였다.
• 결과는 SOT 통합 전략이 MOT 성능 향상에 일반적이고 효과적인 방법이라는 것을 확인시켰다.