[논문 리뷰] Multiple Object Tracking with Mixture Density Networks for Trajectory Estimation

Andreu Girbau, Xavier Giró-i-Nieto외 2명|arXiv (Cornell University)|2021. 06. 21.

Video Surveillance and Tracking Methods참고 문헌 61인용 수 7

한 줄 요약

이 논문은 반복적 혼합 밀도 네트워크와 비트 서치를 사용하여 다수의 궤적 가설을 생성함으로써 다중 객체 추적 성능을 향상시키는 경량 궤적 추정기 TrajE를 제안한다. CenterTrack와 Tracktor에 TrajE를 통합함으로써 저자들은 MOTChallenge 2017에서 MOTA를 6.3점, IDF1을 3.1점 향상시켜 새로운 최상의 성능를 달성하였다.

ABSTRACT

Multiple object tracking faces several challenges that may be alleviated with trajectory information. Knowing the posterior locations of an object helps disambiguating and solving situations such as occlusions, re-identification, and identity switching. In this work, we show that trajectory estimation can become a key factor for tracking, and present TrajE, a trajectory estimator based on recurrent mixture density networks, as a generic module that can be added to existing object trackers. To provide several trajectory hypotheses, our method uses beam search. Also, relying on the same estimated trajectory, we propose to reconstruct a track after an occlusion occurs. We integrate TrajE into two state of the art tracking algorithms, CenterTrack [63] and Tracktor [3]. Their respective performances in the MOTChallenge 2017 test set are boosted 6.3 and 0.3 points in MOTA score, and 1.8 and 3.1 in IDF1, setting a new state of the art for the CenterTrack+TrajE configuration

연구 동기 및 목표

• 객체의 궤적을 모델링함으로써 단순한 프레임 간 이동 거리가 아닌 궤적을 고려함으로써 다중 객체 추적 성능을 향상시키는 것.
• 가림, 재식별, 아이덴티티 전환 등의 과제를 예측 가능한 궤적 모델링을 통해 해결하는 것.
• 기존 최상의 추적기들에 쉽게 통합할 수 있는 일반적이고 가벼운 운동 모델을 개발하는 것.
• 가려진 후 예측된 궤적 분포를 사용하여 트랙 재구성 기능을 제공하는 것.
• 보행자(MOTChallenge)와 차량(UA-DETRAC) 추적을 포함한 다양한 데이터셋에 대한 일반화 능력을 검증하는 것.

제안 방법

• TrajE는 객체의 향후 궤적의 후행 분포를 모델링하는 혼합 정규분포를 추정하기 위해 단일층 순환 신경망을 사용한다.
• 모델은 다수의 궤적 가설을 동시에 탐색하기 위해 비트 서치를 활용하여 불확실성에 대한 강건성을 향상시킨다.
• 궤적 추정은 MOTChallenge 2017 데이터셋의 보행자 궤적을 기반으로 학습되어 장기적인 운동 패턴을 학습한다.
• 같은 추정된 궤적을 사용하여 가려진 후 트랙을 재구성함으로써 실수 탐지 복구 능력을 향상시킨다.
• TrajE는 두 개의 최상의 추적기인 CenterTrack과 Tracktor에 플러그인 방식의 운동 모델로 통합된다.
• 평가 도구를 수정하여 UA-DETRAC에서 무시 영역을 처리할 수 있도록 하여, MOTChallenge(보행자)와 UA-DETRAC(차량) 데이터셋 모두에서 평가가 수행되었다.

실험 결과

연구 질문

• RQ1 단순한 프레임 간 이동 거리가 아닌 전체 객체 궤적을 모델링할 경우 다중 객체 추적 성능이 크게 향상되는가?
• RQ2 비트 서치를 통한 혼합 밀도 네트워크가 추적에 적합한 다양한 고확률 궤적 가설을 효과적으로 생성하는가?
• RQ3 TrajE와 같은 경량 궤적 추정기로 기존 최상의 추적기 성능을 효과적으로 향상시킬 수 있는가?
• RQ4 가려진 후 궤적 기반 트랙 재구성 방식이 추적 정확도 향상에 측정 가능한 기여를 하는가?
• RQ5 TrajE는 보행자와 차량과 같은 다양한 추적 도메인 간에 일반화 가능한가?

주요 결과

• CenterTrack에 TrajE를 통합한 결과, MOTChallenge 2017 테스트 세트에서 MOTA가 6.3점 향상되고 IDF1이 1.8점 향상되어 새로운 최상의 성능를 달성하였다.
• Tracktor+TrajE는 MOTChallenge 2017에서 MOTA 0.3점 향상, IDF1 3.1점 향상으로 동일한 최상의 성능를 달성하였다.
• UA-DETRAC 데이터셋에서 CenterTrack+TrajE는 MOTA 0.5점 향상, IDF1 2.0점 향상되었으며, 가려진 후 재구성 기능을 적용한 결과이다.
• Tracktor+TrajE는 UA-DETRAC에서 MOTA 1.3점 향상, IDF1 1.5점 향상되어 다양한 도메인 간 일반화 능력을 입증하였다.
• 궤적 추정기는 새로운 데이터에 대해서도 잘 일반화되며, 보행자 및 차량 추적 벤치마크에서 일관된 성능 향상을 보였다.
• 비트 서치의 사용은 다수의 궤적 가설 탐색을 효과적으로 가능하게 하여, 가려짐 및 재식별 상황에서의 강건성을 향상시켰다.