[논문 리뷰] DeepDA: LSTM-based Deep Data Association Network for Multi-Targets Tracking in Clutter

Huajun Liu, Hui Zhang외 1명|arXiv (Cornell University)|2019. 07. 16.

Target Tracking and Data Fusion in Sensor Networks참고 문헌 37인용 수 8

한 줄 요약

DeepDA는 손잡이 없는 모델이나 사전 지식에 의존하지 않고 노이즈가 많은 레이더 데이터로부터 측정값과 트랙 간의 연결 확률을 직접 학습하는 LSTM 기반의 딥러닝 프레임워크를 제안한다. BPTT와 RMSprop를 통해 훈련된 DeepDA는 전통적인 방법에 비해 연결 정확도 향상, ID 전환 감소 및 낮은 계산 비용을 달성한다.

ABSTRACT

The Long Short-Term Memory (LSTM) neural network based data association algorithm named as DeepDA for multi-target tracking in clutters is proposed to deal with the NP-hard combinatorial optimization problem in this paper. Different from the classical data association methods involving complex models and accurate prior knowledge on clutter density, filter covariance or associated gating etc, data-driven deep learning methods have been extensively researched for this topic. Firstly, data association mathematical problem for multitarget tracking on unknown target number, missed detection and clutter, which is beyond one-to-one mapping between observations and targets is redefined formally. Subsequently, an LSTM network is designed to learn the measurement-to-track association probability from radar noisy measurements and exist tracks. Moreover, an LSTM-based data-driven deep neural network after a supervised training through the BPTT and RMSprop optimization method can get the association probability directly. Experimental results on simulated data show a significant performance on association ratio, target ID switching and time-consuming for tracking multiple targets even they are crossing each other in the complicated clutter environment.

연구 동기 및 목표

• 혼잡한 환경에서의 다중 타깃 추적 문제를 해결하기 위해, 혼잡도, 탐지 누락, 알려지지 않은 타깃 수와 같은 조건 하에서 NP-완전 조합 최적화 문제를 해결한다.
• 혼잡도 밀도, 필터 공분산, 게이팅 임계값과 같은 복잡한 모델이나 사전 가정에 의존하지 않도록 한다.
• 노이즈가 많은 측정값과 기존 트랙으로부터 직접 연결 확률을 학습하는 데이터 기반 접근법을 개발한다.
• 타깃 교차 및 고혼잡도 환경과 같은 도전적인 상황에서 추적 정확도와 효율성을 향상시킨다.

제안 방법

• LSTM 네트워크를 사용하여 다중 타깃 추적 데이터 연동 문제를 시퀀스 모델링 문제로 재구성한다.
• 레이더 관측치와 트랙 이력으로부터 측정값-트랙 간 연결 확률을 예측하기 위한 LSTM 기반 딥 네ural 네트워크를 설계한다.
• 모의 데이터에 대한 지도 학습을 위해 역전파를 통한 시간 역행(BPTT)과 RMSprop를 사용한다.
• 측정값과 트랙 상태의 시퀀스를 입력으로 사용하여 타깃 운동 및 관측 패턴의 시간적 의존성을 모델링한다.
• 명시적인 게이팅 또는 필터링 히우리스틱 없이 원시 입력에서 연결 확률로의 엔드 투 엔드 매핑을 학습한다.
• 데이터 연동을 시퀀스 예측 문제로 간주함으로써 노이즈 및 가림 현상에 대한 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 사전 가정 없이 엔드 투 엔드 딥러닝 모델이 혼잡한 다중 타깃 추적에서 데이터 연동을 효과적으로 학습할 수 있는가?
• RQ2 LSTM 기반 접근법은 전통적인 필터링 및 조합 최적화 방법에 비해 연결 정확도와 ID 전환 측면에서 어떻게 비교되는가?
• RQ3 데이터 기반 모델은 고혼잡도 환경에서 강건성을 유지하면서 계산 오버헤드를 어느 정도 줄일 수 있는가?
• RQ4 타깃이 교차하거나 간헐적으로 탐지될 때 LSTM을 통한 시간적 모델링이 추적 성능 향상에 기여하는가?

주요 결과

• DeepDA는 고혼잡도 상황에서 기존 방법에 비해 유의미하게 높은 연결 비율을 달성한다.
• LSTM 메모리 셀을 통한 장기적 시간 의존성 학습으로 인해 타깃 ID 전환이 감소한다.
• 포괄적 탐색이 아닌 직접 예측 방식을 통해 조합 최적화 방법보다 계산 시간이 크게 단축된다.
• 타깃이 교차하거나 간헐적으로 탐지되는 경우에도 성능이 강건하여 모의 레이더 데이터에서 뛰어난 일반화 능력을 입증한다.