[논문 리뷰] Can Deep Learning be Applied to Model-Based Multi-Object Tracking?

Juliano Pinto, Georg Hess외 4명|arXiv (Cornell University)|2022. 02. 16.

Target Tracking and Data Fusion in Sensor Networks인용 수 10

한 줄 요약

이 논문은 모델 기반 다중객체추적(MOT)을 위한 특화된 트랜스포머 기반 딥러닝 트래커인 MT3v2를 제안한다. 간단한 작업에서는 최신 베이지안 방법과 유사한 성능을 보이며, 높은 데이터 할당 복잡도 또는 강한 비선형성을 포함하는 복잡한 시나리오에서는 그들을 능가한다. 이 방법은 PMBM 및 δ-GLMB보다 수개의 주기수 빠른 추론 속도를 달성하면서도, 저차원 측정 설정에서 경쟁 가능한 추적 정확도를 유지한다.

ABSTRACT

Multi-object tracking (MOT) is the problem of tracking the state of an unknown and time-varying number of objects using noisy measurements, with important applications such as autonomous driving, tracking animal behavior, defense systems, and others. In recent years, deep learning (DL) has been increasingly used in MOT for improving tracking performance, but mostly in settings where the measurements are high-dimensional and there are no available models of the measurement likelihood and the object dynamics. The model-based setting instead has not attracted as much attention, and it is still unclear if DL methods can outperform traditional model-based Bayesian methods, which are the state of the art (SOTA) in this context. In this paper, we propose a Transformer-based DL tracker and evaluate its performance in the model-based setting, comparing it to SOTA model-based Bayesian methods in a variety of different tasks. Our results show that the proposed DL method can match the performance of the model-based methods in simple tasks, while outperforming them when the task gets more complicated, either due to an increase in the data association complexity, or to stronger nonlinearities of the models of the environment.

연구 동기 및 목표

• 기존에 최신 기술로 평가되는 전통적 베이지안 방법이 사용되는 모델 기반 다중객체추적에서 딥러닝이 성능 향상에 효과적으로 기여할 수 있는지 조사하기 위해.
• 다양하고 점점 더 복잡한 MOT 작업에서 확립된 베이지안 필터(PMBM 및 δ-GLMB)와 비교하여 딥러닝 트래커(MT3v2)의 성능을 평가하기 위해.
• 특히 추론 속도와 비선형성, 데이터 할당 복잡도에 대한 강건성 측면에서, 모델 기반 MOT에서 딥러닝의 확장성과 효율성을 평가하기 위해.
• 정확한 물체 운동 및 측정 가능성 모델이 제공되는 상황에서도 딥러닝이 모델 기반 MOT에 성공적으로 적용될 수 있음을 입증하기 위해.

제안 방법

• 저차원 측정을 위한 모델 기반 MOT에 특화된 트랜스포머 기반 딥러닝 아키텍처인 MT3v2를 제안한다.
• 다중객체 상태, 즉 물체 존재 여부, 위치 및 불확실성 예측을 위해 순서 기반(sequence-to-sequence) 학습 방식을 활용한 트랜스포머 인코더-디코더 구조를 적응한다.
• 예측된 베르누이 성분과 진짜 물체 간의 연관성에 기반한 음의 로그우도(NLL)를 사용하는 미분 가능한 손실 함수를 이용해 모델을 엔드 투 엔드로 훈련시킨다.
• 가능한 타겟을 표현하기 위해 학습 가능한 물체 쿼리 메커니즘을 사용하고, 측정 시퀀스에 주목하여 상태 추정치와 트랙 식별자를 예측한다.
• 존재 확률 및 공간 상태를 포함한 다중객체 상태 추정치를 생성하기 위해 구조화된 출력 예측 헤드를 활용하며, 불확실성 정량화를 수행한다.
• 조합적 탐색 없이도 가능한 연관성 조합을 직접 처리할 수 있도록 트랜스포머 프레임워크 내부에 미분 가능한 데이터 할당 메커니즘을 구현한다.

실험 결과

연구 질문

• RQ1 정확한 운동 및 측정 모델이 제공되는 상황에서 딥러닝 기반 트래커가 최신 기술로 평가되는 모델 기반 베이지안 필터를 능가할 수 있는가?
• RQ2 점점 증가하는 데이터 할당 복잡도를 포함한 작업에서 트랜스포머 기반 딥러닝 트래커(MT3v2)의 성능이 PMBM 및 δ-GLMB와 비교해 어떻게 되는가?
• RQ3 측정 또는 운동 모델에서 강한 비선형성이 존재할 경우, 전통적 베이지안 필터와 비교해 딥러닝 접근법이 성능을 유지하거나 향상시키는가?
• RQ4 복잡한 추적 작업에서 전통적 베이지안 필터에 비해 딥러닝 트래커의 추론 속도 우수성은 어느 정도인가?

주요 결과

• 간단한 작업에서 데이터 할당 복잡도가 낮을 경우, MT3v2는 최신 기술로 평가되는 PMBM 및 δ-GLMB 필터와 유사한 추적 성능을 달성한다.
• 더 높은 데이터 할당 복잡도 또는 강한 비선형성(예: OFDM 레이더 측정)을 포함하는 작업에서는 MT3v2가 PMBM 및 δ-GLMB 양쪽 모두보다 추적 정확도에서 뛰어나다.
• MT3v2는 프레임당 0.03~0.06초의 추론 시간을 기록하여 가장 복잡한 작업에서 δ-GLMB의 781.00초 대비 5000배 이상 빠른 속도를 확보한다.
• 작업 복잡도가 증가할수록 MT3v2와 베이지안 필터 간의 성능 격차가 커지며, 이는 딥러닝이 도전적인 비선형성 또는 높은 연관성 복잡도를 포함한 추적 문제에 더 적합함을 시사한다.
• 하드웨어 차이(GPU 대 CPU)가 있음에도 불구하고, MT3v2의 추론 속도 우수성는 매우 뚜렷하여 최적화된 베이지안 필터 구현에서도 여전히 열세를 지속할 것으로 예상된다.
• 결과적으로 딥러닝이 모델 기반 MOT 환경에 효과적으로 적용될 수 있음을 검증하였으며, 확장성과 속도 측면에서 기존의 베이지안 필터링에 비해 유망한 대안을 제공한다.