[논문 리뷰] End-to-End Learning Deep CRF models for Multi-Object Tracking

Jun Xiang, Chao Ma외 2명|arXiv (Cornell University)|2019. 07. 29.

Video Surveillance and Tracking Methods참고 문헌 44인용 수 15

한 줄 요약

이 논문은 장기적 의존성을 인코딩하기 위해 양방향 LSTM를 사용하여 단일 및 쌍체 잠재변수를 동시에 최적화하는 엔드 투 엔드 딥 CRF 모델을 제안한다. CRF 추론을 순환 신경망 학습 과정으로 재구성함으로써, 이 방법은 MOT-2015 및 MOT-2016에서 최신 기술 수준의 성능을 달성하며, 가림이 빈번한 시나리오에서 정체성 전환을 크게 감소시킨다.

ABSTRACT

Existing deep multi-object tracking (MOT) approaches first learn a deep representation to describe target objects and then associate detection results by optimizing a linear assignment problem. Despite demonstrated successes, it is challenging to discriminate target objects under mutual occlusion or to reduce identity switches in crowded scenes. In this paper, we propose learning deep conditional random field (CRF) networks, aiming to model the assignment costs as unary potentials and the long-term dependencies among detection results as pairwise potentials. Specifically, we use a bidirectional long short-term memory (LSTM) network to encode the long-term dependencies. We pose the CRF inference as a recurrent neural network learning process using the standard gradient descent algorithm, where unary and pairwise potentials are jointly optimized in an end-to-end manner. Extensive experimental results on the challenging MOT datasets including MOT-2015 and MOT-2016, demonstrate that our approach achieves the state of the art performances in comparison with published works on both benchmarks.

연구 동기 및 목표

• 깊은 다중 객체 추적에서 가림 상황에서 정체성 전환 문제와 낮은 식별 능력 문제를 해결하기 위해.
• 구조적 그래픽 모델을 사용하여 대상 간 장기적 시공간적 의존성을 모델링하기 위해.
• 딥 CRF 프레임워크 내에서 단일 및 쌍체 잠재변수의 엔드 투 엔드 학습을 가능하게 하기 위해.
• 대상 간 물리적 제약 조건을 명시적으로 모델링하여 혼잡한 환경에서의 데이터 연동 강건성을 향상시키기 위해.
• 다양한 수의 대상을 포함하는 MOT에서 CRF 추론의 비가역성 문제를 극복하기 위해.

제안 방법

• 단일 잠재변수는 검출 결과와 트랙 간 할당 비용을 계산하는 매칭 네트워크를 통해 학습된다.
• 쌍체 잠재변수는 검출 쌍 간의 장기적 의존성을 특히 어려운 경우에 대해 포착하기 위해 양방향 LSTM를 사용하여 모델링된다.
• 표준 경사 하강법를 사용하여 CRF 추론을 순환 신경망 학습 과정으로 재구성한다.
• 전체 프레임워크는 엔드 투 엔드 방식으로 단일 및 쌍체 잠재변수를 동시에 최적화한다.
• 비겹침 및 동시에 점유 불가능성 등의 구조적 제약 조건을 암묵적으로 모델링한다.
• 표준 추적 메트릭을 사용하여 MOT-2015 및 MOT-2016에서 엔드 투 엔드로 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 학습된 딥 CRF 모델이 가림 상황에서 다중 객체 추적의 데이터 연동 성능을 향상시킬 수 있는가?
• RQ2 양방향 LSTM가 MOT에서 검출 결과 간 장기적 의존성을 모델링하는 데 얼마나 효과적인가?
• RQ3 단일 및 쌍체 잠재변수의 동시 최적화가 혼잡한 환경에서 정체성 전환을 줄일 수 있는가?
• RQ4 CRF 추론을 RNN 학습 과정으로 재구성함으로써 크기가 변하는 추적 그래프에 대해 확장 가능하고 미분 가능한 추론을 가능하게 할 수 있는가?
• RQ5 제안된 방법은 표준 MOT 벤치마크에서 최신 기술 수준의 기준 대비 어떻게 성능을 내는가?

주요 결과

• 제안된 방법은 MOT-2016에서 MOTA 50.3%를 달성하여 테스트 세트에서 모든 발표된 방법을 능가한다.
• MOT-2015에서 방법은 MOTA 40.0% 및 IDF1 49.6%를 기록하여 새로운 최신 기술 수준 성능을 수립한다.
• 방법은 MOT-2016에서 정체성 전환(_IDS)을 702로 줄여 경쟁 방법보다 뚜렷하게 낮춘다.
• 모델은 MOT-2016에서 MT(18.3%) 및 ML(35.7%)와 같은 도전적인 메트릭에서 뛰어난 성능을 보인다.
• 시각적 결과는 기존 최신 기술 수준 방법과 달리, 프레임 간에 대상 5 및 6의 정체성을 일관되게 유지함을 보여준다.
• 절단 분석 결과, 양방향 LSTM와 엔드 투 엔드 훈련이 성능 향상에 핵심적임을 확인한다.