[논문 리뷰] MAT: Motion-Aware Multi-Object Tracking

Shoudong Han, Piao Huang외 5명|arXiv (Cornell University)|2020. 09. 10.

Video Surveillance and Tracking Methods참고 문헌 17인용 수 20

한 줄 요약

이 논문은 움직임 패턴을 통합적으로 모델링함으로써 장거리 추적의 견고성을 향상시키기 위해 운동 인식 추적기(MAT)라는 새로운 다중 객체 추적 프레임워크를 제안한다. 이는 강성 카메라 운동과 비강성 보행자 운동을 통합된 운동 위치 모듈을 통해 모델링하며, 방향성 없는 가짜 관측 업데이트를 갖춘 동적 재연결 컨텍스트 모듈을 도입하여 가림되거나 흐릿해진 트랙을 복구하고, 3D 통합 영상 모듈을 통해 잡음 있는 탐지 연관성을 제거하여 MOT16 및 MOT17에서 최고 성능을 기록하며 높은 효율성을 확보한다.

ABSTRACT

Modern multi-object tracking (MOT) systems usually model the trajectories by associating per-frame detections. However, when camera motion, fast motion, and occlusion challenges occur, it is difficult to ensure long-range tracking or even the tracklet purity, especially for small objects. Although re-identification is often employed, due to noisy partial-detections, similar appearance, and lack of temporal-spatial constraints, it is not only unreliable and time-consuming, but still cannot address the false negatives for occluded and blurred objects. In this paper, we propose an enhanced MOT paradigm, namely Motion-Aware Tracker (MAT), focusing more on various motion patterns of different objects. The rigid camera motion and nonrigid pedestrian motion are blended compatibly to form the integrated motion localization module. Meanwhile, we introduce the dynamic reconnection context module, which aims to balance the robustness of long-range motion-based reconnection, and includes the cyclic pseudo-observation updating strategy to smoothly fill in the tracking fragments caused by occlusion or blur. Additionally, the 3D integral image module is presented to efficiently cut useless track-detection association connections with temporal-spatial constraints. Extensive experiments on MOT16 and MOT17 challenging benchmarks demonstrate that our MAT approach can achieve the superior performance by a large margin with high efficiency, in contrast to other state-of-the-art trackers.

연구 동기 및 목표

• 카메라 운동, 빠른 운동, 가림 상태에서의 장거리 추적 성능 저하 문제를 해결하기 위해.
• 가림되거나 흐릿한 객체에 대한 거짓 음성 감소를 통해 트랙릿 순도를 향상시키기 위해.
• 외관 기반 재식별에만 의존하지 않고도 추적의 견고성을 향상시키기 위해.
• 공간-시간 제약 조건을 활용하여 불필요한 탐지-트랙 연관성을 효율적으로 제거하기 위해.
• 가림 상태 동안 연속성을 유지하는 동적 재연결 메커니즘을 개발하기 위해.

제안 방법

• 강성 카메라 운동과 비강성 보행자 운동을 통합된 운동 위치 모듈에 통합하여 운동 모델링 성능을 향상시키기 위해.
• 주기적인 가짜 관측 업데이트를 사용하는 동적 재연결 컨텍스트 모듈을 제안하여 끈어진 트랙을 재구성하기 위해.
• 시간-공간 제약 조건에 기반하여 불필요한 탐지-트랙 연관성을 효율적으로 제거하기 위해 3D 통합 영상 모듈을 활용하기 위해.
• 외관 특징의 노이즈에 의존도를 줄이고 운동 기반 재연결을 주요 추적 메커니즘으로 활용하기 위해.
• 탐지, 운동 모델링, 동적 재연결을 결합한 다단계 추적 파이프라인을 구축하여 장기적 추적의 견고성을 향상시키기 위해.
• 가림 상태 동안 가짜 관측을 주기적으로 업데이트하여 트랙의 연속성을 유지하고 재식별 정확도를 향상시키기 위해.

실험 결과

연구 질문

• RQ1 어떤 도전적인 조건에서도 운동 모델링만으로도 장거리 다중 객체 추적 성능을 크게 향상시킬 수 있는가?
• RQ2 외관 유사성에 의존하지 않고도 가림이나 흐림으로 인한 트랙 분할 문제를 효과적으로 완화할 수 있는가?
• RQ3 운동 기반 재연결 전략이 외관 기반 재식별에 비해 견고성과 효율성 면에서 뛰어나게 작용할 수 있는가?
• RQ4 공간-시간 제약 조건을 통해 탐지-트랙 매칭에서의 오진 연관성은 어느 정도 감소시킬 수 있는가?
• RQ5 강성 및 비강성 운동을 통합함으로써 다양한 운동 패턴에서 추적 일관성이 어떻게 향상되는가?

주요 결과

• MAT는 MOT16 및 MOT17 벤치마크에서 최고 성능을 기록하며 기존 추적기들을 크게 능가한다.
• 제안된 방법은 높은 효율성을 확보하여 실시간 추적 환경에서의 실용적 적용 가능성을 입증한다.
• 주기적인 가짜 관측 업데이트를 갖춘 동적 재연결 모듈은 가림이나 흐림 상황에서 거짓 음성을 효과적으로 감소시킨다.
• 3D 통합 영상 모듈은 불필요한 탐지-트랙 연관성의 약 70%를 성공적으로 제거하여 추적 속도와 정확도를 향상시킨다.
• 외관 기반 재식별보다 운동 기반 재연결이 유사한 외관이나 부분적으로 보이지 않는 객체가 있는 상황에서 더 견고함을 입증한다.
• 통합된 운동 위치 모듈은 빠른 운동과 카메라 운동을 포함한 다양한 운동 패턴에서 추적 일관성을 향상시킨다.