[논문 리뷰] Kinects and Human Kinetics: A New Approach for Studying Crowd Behavior

Stefan Seer, Norbert Brändle외 1명|arXiv (Cornell University)|2012. 10. 10.

Video Surveillance and Tracking Methods참고 문헌 22인용 수 13

한 줄 요약

이 논문은 고해상도 3D 보행자 궤적을 상공에서 촬영하기 위해 다수의 Microsoft Kinect 센서를 사용하여 보행자 행동 모델링을 위한 확장 가능하고 저비용의 데이터 수집을 가능하게 한다. 이 방법은 94%의 보행자 검출률과 4cm의 추적 정밀도를 달성하였으며, 상대 속도와 힘 분해를 통한 충돌 회피 향상으로 인해 세 가지 변형된 Social Force 모델을 성공적으로 캘리브레이션 및 검증하였다.

ABSTRACT

Modeling crowd behavior relies on accurate data of pedestrian movements at a high level of detail. Imaging sensors such as cameras provide a good basis for capturing such detailed pedestrian motion data. However, currently available computer vision technologies, when applied to conventional video footage, still cannot automatically unveil accurate motions of groups of people or crowds from the image sequences. We present a novel data collection approach for studying crowd behavior which uses the increasingly popular low-cost sensor Microsoft Kinect. The Kinect captures both standard camera data and a three-dimensional depth map. Our human detection and tracking algorithm is based on agglomerative clustering of depth data captured from an elevated view - in contrast to the lateral view used for gesture recognition in Kinect gaming applications. Our approach transforms local Kinect 3D data to a common world coordinate system in order to stitch together human trajectories from multiple Kinects, which allows for a scalable and flexible capturing area. At a testbed with real-world pedestrian traffic we demonstrate that our approach can provide accurate trajectories from three Kinects with a Pedestrian Detection Rate of up to 94% and a Multiple Object Tracking Precision of 4 cm. Using a comprehensive dataset of 2240 captured human trajectories we calibrate three variations of the Social Force model. The results of our model validations indicate their particular ability to reproduce the observed crowd behavior in microscopic simulations.

연구 동기 및 목표

• 미세 단위의 보행자 시뮬레이션 모델을 校정하기 위한 정확하고 대규모의 궤적 데이터 부족 문제를 해결하기 위해.
• 기존 영상 기반 추적의 한계, 즉 가림, 조도 변화, 수동 애너테이션의 부담을 극복하기 위해.
• 소비자용 3D 센서를 활용하여 저비용이고 확장 가능한 방식으로 세부적인 인간 운동 데이터를 캡처하는 솔루션을 개발하기 위해.
• 실생활 환경에서 다수의 Kinect 간에 개인을 자동으로 정확하게 추적하기 위해.
• 실제로 수집된 궤적 데이터를 바탕으로 Social Force 모델의 다양한 변형을 캘리브레이션 및 검증하기 위해.

제안 방법

• 게임 애플리케이션의 측면 시야 제한을 피하기 위해, 고정된 고도에서 RGB 및 3D 깊이 데이터를 모두 캡처하기 위해 Microsoft Kinect 센서를 활용한다.
• 공통된 세계 좌표계 내에서 개인 보행자를 검출하고 군집화하기 위해 깊이 데이터에 응집적 군집화를 적용한다.
• 다중 Kinect의 깊이 데이터를 통합된 세계 좌표계로 정렬하기 위해 강체 변환을 수행하여 궤적을 이어붙인다.
• 계층적 군집 기반 추적 알고리즘을 사용해 시간에 따라 검출된 보행자를 추적하여 연속적인 궤적을 생성한다.
• 캘리브레이션 기법을 통해 각 개인의 Kinect 데이터를 공통 좌표계로 매핑하여 다중 센서 궤적 융합을 가능하게 한다.
• 검출 및 추적 성능 평가를 위해 수동 애너테이션 기반 참값 데이터를 사용하며, 이는 보행자 검출률 및 다중 객체 추적 정밀도를 포함한다.

실험 결과

연구 질문

• RQ1 Kinect 센서는 실생활 환경에서 보행자 이동을 위한 정확하고 확장 가능하며 비용 효율적인 데이터 수집을 가능하게 하는가?
• RQ2 제안된 추적 알고리즘의 성능은 참값 기준으로 검출률과 추적 정밀도 측면에서 어떻게 평가되는가?
• RQ3 실제로 수집된 궤적 데이터로 校정된 경우, Social Force 모델의 어느 변형이 관측된 군중 행동을 가장 잘 재현하는가?
• RQ4 반사력에 상대 속도를 통합함으로써 미세 단위의 보행자 시뮬레이션의 현실성은 향상되는가?
• RQ5 다수의 Kinect 간 궤적 이어붙이기는 대규모 모니터링 환경에서 높은 정확도와 일관성을 유지하는가?

주요 결과

• 제안된 시스템은 두 개의 수동 애너테이션 기반 참값 데이터셋을 평가한 결과, 최대 94%의 보행자 검출률을 달성하였다.
• 다중 객체 추적 정밀도는 약 4cm로 정량화되어 궤적 추정에서 높은 위치 정밀도를 나타내었다.
• 다중 Kinect 간 궤적 이어붙이기는 최대 98%의 참양성비를 기록하여 다중 센서 융합에서 뛰어난 성능을 입증하였다.
• 콜모고로프-스미르노프 검정을 통해 개선된 Social Force 모델(상대 속도 및 힘 분해 포함)의 시뮬레이션 보행 시간 분포가 유의수준 0.05에서 측정된 분포와 통계적으로 구별되지 않음을 확인하였다.
• 반사력의 감속 및 회피 성분으로 분해하는 모델 변형이 관측된 군중 행동과 가장 우수한 정량적·정성적 일치를 보였다.
• 본 연구는 MIT의 인피니트 코리도어에서 실시한 실제 보행 실험을 통해 총 2240개의 개인 궤적을 성공적으로 수집하여 모델 校정을 위한 종합적인 데이터셋을 구축하였다.