[논문 리뷰] Real-time Crowd Tracking using Parameter Optimized Mixture of Motion Models

Aniket Bera, David Wolinski외 2명|arXiv (Cornell University)|2014. 09. 16.

Video Surveillance and Tracking Methods참고 문헌 34인용 수 9

한 줄 요약

이 논문은 다소 혼잡한 군중에서 정확도를 향상시키기 위해 매개변수 최적화된 이질적 운동 모델(예: Social Forces, Boids, RVO)의 혼합을 사용하는 적응형 입자 필터를 활용하는 실시간 보행자 추적 시스템을 제안한다. 이는 이전에 추적된 데이터를 기반으로 각 보행자별로 최적의 운동 모델과 그 매개변수를 동적으로 선택함으로써, 동일한 모델 기반의 추적기 및 기준 평균 이동 추적기보다 4–18% 높은 정확도를 달성하며, 다중 코어 CPU에서 실시간으로 실행된다.

ABSTRACT

We present a novel, real-time algorithm to track the trajectory of each pedestrian in moderately dense crowded scenes. Our formulation is based on an adaptive particle-filtering scheme that uses a combination of various multi-agent heterogeneous pedestrian simulation models. We automatically compute the optimal parameters for each of these different models based on prior tracked data and use the best model as motion prior for our particle-filter based tracking algorithm. We also use our "mixture of motion models" for adaptive particle selection and accelerate the performance of the online tracking algorithm. The motion model parameter estimation is formulated as an optimization problem, and we use an approach that solves this combinatorial optimization problem in a model independent manner and hence scalable to any multi-agent pedestrian motion model. We evaluate the performance of our approach on different crowd video datasets and highlight the improvement in accuracy over homogeneous motion models and a baseline mean-shift based tracker. In practice, our formulation can compute trajectories of tens of pedestrians on a multi-core desktop CPU in in real time and offer higher accuracy as compared to prior real time pedestrian tracking algorithms.

연구 동기 및 목표

• 서로 다른 보행자 간의 상호작용과 가림 현상으로 인해 성능이 저하되는 중간 정도로 혼잡한 군중에서 정확한 실시간 보행자 추적 문제를 해결한다.
• 다양한 군중 밀도에서 다양한 보행자 행동을 포괄하지 못하는 단일 동일한 운동 모델의 한계를 극복한다.
• 이전 추적 경로를 기반으로 자동으로 운동 모델을 선택하고 매개변수를 최적화하여 추적의 견고성을 향상시킨다.
• 적응형 입자 선택 및 모델 혼합을 통해 표준 데스크톱 하드웨어에서 고성능을 유지하면서도 실시간 성능을 확보한다.
• 이전 데이터를 활용한 동적 모델 적응 및 매개변수 최적화를 통해 신원 전환과 추적 오류를 감소시킨다.

제안 방법

• 상태 전이 모델을 이질적 보행자 운동 모델(예: Social Forces, Boids, RVO)의 혼합으로 대체하는 적응형 입자 필터링 프레임워크를 사용한다.
• 운동 모델 매개변수 추정 문제를 이전 추적 경로 데이터를 기반으로 실시간으로 해결하는 모델 독립형 조합 최적화 문제로 공식화한다.
• 지역적 보행자 행동에 기반해 매 몇 프레임마다 최적의 적합도를 가진 운동 모델과 그 최적 매개변수를 재계산한다.
• 최적화된 운동 모델을 기반으로 입자 샘플링을 유도하며, 신뢰도와 복잡도에 따라 각 보행자별 입자 수를 동적으로 조정한다.
• 영상 시퀀스의 공간 정확도를 향상시키기 위해 카메라 캘리브레이션 및 투시 변환을 통합한다.
• 운동 모델을 사전 확률로 사용하는 베이지안 추론 프레임워크를 적용하며, 실시간으로 점진적으로 입자 필터 업데이트를 수행한다.

실험 결과

연구 질문

• RQ1 다양한 이질적 운동 모델의 혼합이 단일 동일한 모델 대비 중간 정도로 혼잡한 군중에서 추적 정확도를 향상시키는가?
• RQ2 이전 추적 경로 데이터를 활용한 운동 모델 매개변수 최적화가 추적의 견고성 향상과 오류 감소에 얼마나 효과적인가?
• RQ3 적응형 모델 선택 및 동적 입자 할당 전략이 실시간 성능 향상과 신원 전환 감소에 얼마나 기여하는가?
• RQ4 기본 평균 이동 추적기 및 일정 속도 입자 필터 대비 제안된 방법은 정확도와 속도 측면에서 어떻게 비교되는가?
• RQ5 모델 선택 및 매개변수 조정이 다양한 군중 밀도 조건에서 추적 오류에 미치는 영향은 어떠한가?

주요 결과

• 제안된 방법은 다양한 데이터셋에서 일정 속도(LIN) 모델 및 기타 동일한 모델 대비 4–18% 높은 정확도를 달성한다.
• IITF 및 NDLS 데이터셋에서 다중 코어 CPU를 사용해 실시간 성능을 유지하며, 24–30 fps로 작동하며, 동일한 모델 대비 정확도가 9–12% 향상된다.
• 적응형 입자 선택 전략은 계산 오버헤드를 줄이며 높은 추적 정밀도를 유지하면서, 유사한 정확도를 가지는 알고리즘 대비 2–3배 빠른 성능을 제공한다.
• 지역적 행동 패턴에 기반해 각 보행자별 최적의 운동 모델을 동적으로 선택함으로써, 신원 전환과 추적 오류를 감소시킨다.
• 최적화 기반의 매개변수 조정은 예측 정확도를 크게 향상시키며, Social Forces와 같은 기준 모델 대비 평균 오차가 0.8m 이하로 낮아진 것으로 나타났다.
• 다양한 밀도, 조도 수준 및 가림 정도를 가진 다양한 영상 시퀀스에서 견고한 성능을 보이며, 평균 이동 및 표준 입자 필터 기반 기준 대비 우수한 성능을 발휘한다.