[논문 리뷰] Online Visual Multi-Object Tracking via Labeled Random Finite Set Filtering

Du Yong Kim, Ba‐Ngu Vo외 1명|arXiv (Cornell University)|2016. 11. 18.

Video Surveillance and Tracking Methods참고 문헌 45인용 수 11

한 줄 요약

이 논문은 상태 추정, 트랙 관리, 음영 처리를 단일 베이지안 재귀 내에서 통합하는 레이블된 무작위 유한집합(RFS) 필터링을 사용한 온라인 다중객체 추적 알고리즘을 제안한다. 잘못 탐지 시에 탐지 기반 업데이트와 국소화된 이미지 데이터 간에 적응적으로 전환함으로써 선형 복잡도로 높은 정확도를 달성하며, 최신 기술 대비 재현율, 오진 양성, 식별 전환 측면에서 뛰어난 성능을 보이며, MATLAB에서 20 fps로 실시간 성능을 유지한다.

ABSTRACT

This paper proposes an online visual multi-object tracking algorithm using a top-down Bayesian formulation that seamlessly integrates state estimation, track management, clutter rejection, occlusion and mis-detection handling into a single recursion. This is achieved by modeling the multi-object state as labeled random finite set and using the Bayes recursion to propagate the multi-object filtering density forward in time. The proposed filter updates tracks with detections but switches to image data when mis-detection occurs, thereby exploiting the efficiency of detection data and the accuracy of image data. Furthermore the labeled random finite set framework enables the incorporation of prior knowledge that mis-detections of long tracks which occur in the middle of the scene are likely to be due to occlusions. Such prior knowledge can be exploited to improve occlusion handling, especially long occlusions that can lead to premature track termination in on-line multi-object tracking. Tracking performance are compared to state-of-the-art algorithms on well-known benchmark video datasets.

연구 동기 및 목표

• 동적 객체 수, 트랙 생성/종료, 음영 처리 등의 도전 과제를 해결하기 위해 온라인 다중객체 추적을 수행하는 것.
• 계산 효율성을 유지하면서 탐지 기반 방법에서 발생하는 정보 손실를 줄이는 것.
• 오랜 시간 음영이 지속될수록 생존 확률이 증가한다는 사전 지식을 통합하여 장기 음영 처리 능력을 향상시키는 것.
• 레이블된 RFS를 사용해 상태 추정, 잡음 거부, 트랙 관리를 단일 베이지안 재귀 내에 통합하는 것.
• 배치 및 온라인 방법과 비교해 추적 정확도를 희생시키지 않고 실시간 성능를 달성하는 것.

제안 방법

• 시스템적 트랙 레이블링과 관리를 가능하게 하기 위해 다중객체 상태를 레이블된 무작위 유한집합(RFS)으로 모델링한다.
• 탐지 및 이미지 관측을 통합한 하이브리드 다중객체 가능도 함수를 사용해 정밀도를 향상시킨다.
• 제안된 가능도에 대해 공액인 일반화된 레이블된 다중베르누이(GLMB) 분포를 사용하여 베이즈 재귀의 해석적 해를 도출한다.
• 업데이트 전략을 적응적으로 적용: 탐지가 가능할 땐 효율성을 위해 탐지 기반 업데이트를 사용하고, 잘못 탐지 시에는 공간적 맥락을 유지하기 위해 국소 이미지 영역으로 전환한다.
• 장기 음영 객체는 사라질 가능성이 낮다는 사전 지식을 통합하여 조기 트랙 종료를 지연시킨다.
• GLMB 프레임워크 내에서 찰턴-콜모고로프 방정식을 적용해 필터링 밀도를 시간에 따라 전파한다.

실험 결과

연구 질문

• RQ1 통합된 베이지안 프레임워크는 온라인 다중객체 추적에서 상태 추정, 트랙 관리, 음영 처리를 통합할 수 있는가?
• RQ2 단일 추적기에서 탐지 기반 효율성과 이미지 기반 정확성 간의 균형을 어떻게 맞출 수 있는가?
• RQ3 음영 중 객체 지속성에 대한 사전 지식이 장기 추적의 견고성을 향상시킬 수 있는가?
• RQ4 레이블된 RFS 프레임워크는 배치 및 온라인 방법과 비교해 경쟁력 있는 정확도를 유지하면서 실시간 성능를 제공할 수 있는가?
• RQ5 하이브리드 가능도 모델은 단일 재귀 내에서 탐지 및 국소화된 이미지 데이터를 효과적으로 처리할 수 있는가?

주요 결과

• GLMB-IM 필터는 벤치마크 데이터셋에서 온라인 추적기 중 재현율과 FPF에서 최고 또는 2위 성능를 기록한다.
• 식별 전환(_IDS)과 분할 수(Frag)에서 상위 3개 이내 순위를 기록하여 강력한 트랙 일관성을 보여준다.
• 최적화되지 않은 MATLAB 코드를 사용해 표준 랩탑에서 20 fps를 유지하여 실시간 가능성은 입증되었다.
• 오프라인 추적기인 RMOT보다 일부 시퀀스에서 성능가 뛰어나고, 다른 시퀀스에선 정확도를 맞추며 온라인 추적임에도 불구하고 뛰어난 성능를 보였다.
• 레이블된 RFS 프레임워크는 개체 수 분포를 제공해 프레임당 객체 수 추정이 가능하다 — 대부분의 다른 방법에서는 제공하지 못하는 기능이다.
• 필터는 탐지 수에 대해 선형 복잡도를 보이며, 고밀도 추적 시나리오에 대한 확장성은 보장한다.