[논문 리뷰] Recurrent Autoregressive Networks for Online Multi-Object Tracking

Kuan Fang, Xiang Yu외 2명|arXiv (Cornell University)|2017. 11. 07.

Video Surveillance and Tracking Methods참고 문헌 37인용 수 15

한 줄 요약

이 논문은 외부 메모리로 짧은 기간 동안의 특징을 저장하고, 순환 셀 내부의 내부 메모리를 통해 장기적인 궤적 역학을 모델링하는 새로운 시간적 생성 모델링 프레임워크인 순환 자기회귀 네트워크(RANs)를 제안한다. 이 방법은 기억된 특징에 대한 자기회귀적 확률 추정을 통해 혼잡하고 가림이 있는 상황에서의 데이터 연동을 향상시켜 MOT15 및 MOT16 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

The main challenge of online multi-object tracking is to reliably associate object trajectories with detections in each video frame based on their tracking history. In this work, we propose the Recurrent Autoregressive Network (RAN), a temporal generative modeling framework to characterize the appearance and motion dynamics of multiple objects over time. The RAN couples an external memory and an internal memory. The external memory explicitly stores previous inputs of each trajectory in a time window, while the internal memory learns to summarize long-term tracking history and associate detections by processing the external memory. We conduct experiments on the MOT 2015 and 2016 datasets to demonstrate the robustness of our tracking method in highly crowded and occluded scenes. Our method achieves top-ranked results on the two benchmarks.

연구 동기 및 목표

• 혼잡하고 가림이 있는 환경에서 온라인 다중객체 추적에서 신뢰할 수 있는 데이터 연동을 해결하기 위해.
• 시간적 의존성을 포착하는 생성 모델링 프레임워크를 통해 다수 객체의 장기적 외관 및 운동 역학을 모델링하기 위해.
• 고정 윈도우 템플릿과 RNN 기반 추적에서의 과적합 문제를 해결하기 위해 이중 메모리 아키텍처를 도입하기 위해.
• 자율 주행 및 로봇 공학과 같은 실시간 응용 분야에서 개선된 궤적 모델링을 통해 견고한 추적을 가능하게 하기 위해.

제안 방법

• RAN 프레임워크는 최근 객체 특징(외관 및 운동)의 슬라이딩 윈도우를 저장하기 위한 외부 메모리를 사용한다.
• 내부 메모리는 순환 네트워크의 은닉 상태로 구현되며 장기적 역사 정보를 요약하고 외부 메모리의 입력을 처리한다.
• 모델은 내부 및 외부 메모리 기반으로 새로운 검출의 조건부 확률 분포를 추정하기 위해 자기회귀적 생성을 활용한다.
• 각 객체는 전용 RAN을 할당받으며, 앙상블 모델링을 통한 확장 가능한 다중객체 추적을 가능하게 한다.
• 네트워크는 추적 결정에 기반해 내부 은닉 상태와 외부 메모리 템플릿을 동시에 업데이트할 수 있도록 엔드 투 엔드로 훈련된다.
• 데이터 연동 알고리즘은 RAN이 생성한 매개변수를 사용해 가능도를 계산하여, 노이즈 및 가림 상황에서도 견고한 매칭을 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델은 온라인 다중객체 추적에서 짧은 기간의 가림 및 외관 변화에 강건하면서도 장기적인 궤적 역학을 효과적으로 모델링할 수 있는가?
• RQ2 명시적 외부 메모리와 내부 순환 메모리의 조합이 추적 정확도와 일반화 능력에 미치는 영향은 무엇인가?
• RQ3 자기회귀 예측을 포함한 생성 모델링 접근 방식이 온라인 MOT의 데이터 연동에서 분류 기반 기준보다 우월한가?
• RQ4 외부 메모리의 시간 범위가 도전적인 시퀀스에서 추적 성능과 모델 안정성에 미치는 영향은 무엇인가?
• RQ5 RAN 프레임워크는 고밀도 객체 및 빈번한 가림이 발생하는 실제 환경에 얼마나 잘 일반화될 수 있는가?

주요 결과

• RAN 모델은 2DMOT2015 테스트 세트에서 최신 기술 수준의 MOTA 68.3%를 달성하여 모든 온라인 방법보다 뛰어난 성능을 보였다.
• MOT16에서 RAN은 온라인 방법 중 MOTA, IDS, FN 측면에서 최고 성능을 기록했으며, MOTA는 68.5%에 도달했다.
• 모든 테스트 영상에서 IDS(아이덴티티 스위치)가 크게 감소하여 뛰어난 데이터 연동 안정성을 보였다.
• 실험 결과 외부 메모리 시간 범위를 1단계에서 12단계로 늘일수록 MOTA가 향상되고 IDS가 감소했으며, 9단계 이후로 성능이 안정화됨을 확인했다.
• 정성적 분석을 통해 RAN이 가림 동안 과거에 기억된 특징에 더 의존하면서도 재등장 시 최근 특징으로 다시 전환하는 전략적 매개변수 추정을 적응적으로 수행함을 확인했다.
• RAN 프레임워크는 ETH-Linthescher 및 TUD-Crossing와 같이 외관 유사성과 운동 모호성이 높은 매우 혼잡한 장면에서도 견고함을 보였다. 이는 전통적 추적기가 도전받는 상황에서의 성능을 뛰어넘는다.