[논문 리뷰] Trajectory Poisson multi-Bernoulli mixture filter for traffic monitoring using a drone

Ángel F. García‐Fernández, Jimin Xiao|arXiv (Cornell University)|2023. 06. 29.

Video Surveillance and Tracking Methods인용 수 4

한 줄 요약

이 논문은 드론에 장착된 광학 및 열화상 카메라를 사용한 교통 모니터링에서 다중 객체 추적을 위해 궤적 포isson 다중 베르누이 혼합(trajectory Poisson multi-Bernoulli mixture, TPMBM) 필터를 제안한다. 카메라 검출를 각도 도착 방향(Direction-of-Arrival, DOA) 측정으로 모델링하고, 이 측정이 바흐-미스-피셔(von-Mises-Fisher, vMF) 분포를 따르도록 함으로써, 지상 평면 상의 차량 궤적에 대한 정확한 베이지안 추정이 가능해지며, 합성 및 실세계 실험을 통해 개선된 추적 성능이 검증되었다.

ABSTRACT

This paper proposes a multi-object tracking (MOT) algorithm for traffic monitoring using a drone equipped with optical and thermal cameras. Object detections on the images are obtained using a neural network for each type of camera. The cameras are modelled as direction-of-arrival (DOA) sensors. Each DOA detection follows a von-Mises Fisher distribution, whose mean direction is obtain by projecting a vehicle position on the ground to the camera. We then use the trajectory Poisson multi-Bernoulli mixture filter (TPMBM), which is a Bayesian MOT algorithm, to optimally estimate the set of vehicle trajectories. We have also developed a parameter estimation algorithm for the measurement model. We have tested the accuracy of the resulting TPMBM filter in synthetic and experimental data sets.

연구 동기 및 목표

• 광학 및 열화상 카메라를 탑재한 드론을 이용한 교통 모니터링을 위한 강력한 다중 객체 추적(MOT) 시스템을 개발하는 것.
• 동적인 교통 환경에서 카메라 기반 검출로부터 차량 궤적을 정확하게 추정하는 과제를 해결하는 것.
• 방향성 데이터를 더 잘 다룰 수 있도록, 카메라 검출를 바흐-미스-피셔(von-Mises-Fisher, vMF) 분포를 사용해 각도 도착 방향(DOA) 측정으로 모델링하는 것.
• 측정 모델의 매개변수 추정 알고리즘을 통합하여 추적 정확도를 향상시키는 것.
• 합성 및 실세계 실험 데이터셋에서 제안된 TPMBM 필터를 검증하여 실제 교통 모니터링 환경에서의 효과성을 입증하는 것.

제안 방법

• 카메라는 각도 도착 방향(Direction-of-Arrival, DOA) 센서로 모델링되며, 각 검출은 차량의 지상 위치에서 카메라로 향하는 DOA 벡터에 해당한다.
• DOA 측정은 방향성 데이터에 적합한 수학적 성질을 지닌 바흐-미스-피셔(von-Mises-Fisher, vMF) 분포로 모델링되며, 각도 감싸기(angling wrapping) 문제를 피할 수 있다.
• 궤적 포isson 다중 베르누이 혼합(TPMBM) 필터를 베이지안 프레임워크로 사용하여 차량 궤적의 사후 밀도를 반복적으로 추정하며, 포isson 및 다중 베르누이 성분을 통합한다.
• 최대우도추정법을 사용하여, 잡음 강도, 검출 확률, vMF 집중도 매개변수와 같은 핵심 모델 매개변수를 학습하기 위한 매개변수 추정 알고리즘을 개발하였다.
• 기하학적 투영을 통해 DOA 벡터를 카메라 프레임에서 지상 평면으로 매핑하여 2차원 세계 좌표계에서 궤적 추정이 가능하도록 한다.
• 측정 모델은 센서 기하학적 구조를 고려하며, 불확실성은 DOA에서 지상 평면 위치로 전파되기 위해 자코비안 또는 언스카운트 트랜스폼을 사용한다.

실험 결과

연구 질문

• RQ1 광학 및 열화상 센서에서 유도된 방향성 카메라 검출를 교통 모니터링에서 다중 객체 추적에 효과적으로 모델링할 수 있는 방법은 무엇인가?
• RQ2 드론 플랫폼을 이용해 DOA 측정으로부터 차량 궤적을 추정하기 위한 최적의 베이지안 필터링 프레임워크는 무엇인가?
• RQ3 DOA 측정에 대해 vMF 분포를 사용할 경우, 고전적 가우시안 기반 모델 대비 추적 정확도 및 강인성 측면에서 어떤 차이가 있는가?
• RQ4 실세계 교통 환경에서 측정 모델의 매개변수 추정 전략 중 가장 정확하고 안정적인 성능을 내는 것은 무엇인가?
• RQ5 제안된 TPMBM 필터는 합성 및 실세계 실험 데이터에서 기존의 MOT 방법들과 비교해 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 vMF 분포를 가진 DOA 측정을 사용하는 TPMBM 필터는 합성 및 실세계 데이터셋 모두에서 기준 방법 대비 뛰어난 추적 정확도를 달성하였다.
• 매개변수 추정 알고리즘이 잡음 강도, 검출 확률, vMF 집중도 매개변수를 성공적으로 학습하여 모델 적합도와 추적 성능 향상을 이룩하였다.
• DOA 모델링에 vMF 분포를 사용함으로써 각도 데이터를 더 잘 처리할 수 있었으며, 각도 감싸기나 복잡한 주기성 보정이 필요 없어졌다.
• 기하학적 투영 모델은 DOA 벡터를 지상 평면 위치로 정확하게 매핑하여 2차원 영상 검출에서 정밀한 궤적 추정이 가능하도록 하였다.
• TPMBM 필터는 포isson 및 다중 베르누이 성분의 혼합을 통해 객체 생성, 소멸 및 데이터 연동을 효과적으로 처리하여 안정적인 온라인 추적을 가능하게 하였다.
• 실험 결과는 필터가 다양한 교통 밀도 및 센서 조건에서도 일관된 추적 성능을 유지할 수 있음을 보여주었다.