[논문 리뷰] People Counting in Crowded and Outdoor Scenes using a Hybrid Multi-Camera Approach

Fabio Dittrich, Luiz S. Oliveira외 2명|arXiv (Cornell University)|2017. 04. 02.

Video Surveillance and Tracking Methods참고 문헌 31인용 수 17

한 줄 요약

이 논문은 혼잡한 실외 환경에서의 사람 수 세기 문제를 다루기 위해 직접 검출(헤드 검출기: SVM 및 AdaBoost)과 간접적인 코너 포인트 분석 및 통계 모델링 기반 방법을 융합한 하이브리드 다중 카메라 접근법을 제안한다. 간접 방법은 PETS2009 벤치마크에서 기준 방법 대비 46.7% 향상된 성능을 기록했으며, 음영 및 분할 오류에 대한 민감도가 낮아 직접 방법보다 뛰어난 성능을 보였다.

ABSTRACT

This paper presents two novel approaches for people counting in crowded and open environments that combine the information gathered by multiple views. Multiple camera are used to expand the field of view as well as to mitigate the problem of occlusion that commonly affects the performance of counting methods using single cameras. The first approach is regarded as a direct approach and it attempts to segment and count each individual in the crowd. For such an aim, two head detectors trained with head images are employed: one based on support vector machines and another based on Adaboost perceptron. The second approach, regarded as an indirect approach employs learning algorithms and statistical analysis on the whole crowd to achieve counting. For such an aim, corner points are extracted from groups of people in a foreground image and computed by a learning algorithm which estimates the number of people in the scene. Both approaches count the number of people on the scene and not only on a given image or video frame of the scene. The experimental results obtained on the benchmark PETS2009 video dataset show that proposed indirect method surpasses other methods with improvements of up to 46.7% and provides accurate counting results for the crowded scenes. On the other hand, the direct method shows high error rates due to the fact that the latter has much more complex problems to solve, such as segmentation of heads.

연구 동기 및 목표

• 단일 카메라 시스템이 실패하는 혼잡하고, 실외적이며, 음영이 많은 환경에서 정확한 사람 수 세기 도전 과제 해결.
• 단일 시각의 제한을 극복하기 위해 다중 카메라 시각 정보를 융합하여 음영을 줄이고 시야 커버리지 향상.
• 직접 방법(개별 헤드 검출 기반)과 간접 방법(그룹 수준 특징 및 통계 모델링 기반)을 개발하고 비교.
• 다중 시각 설정에서의 시점 왜곡을 보완하기 위해 거리 가중치 부여 방식을 도입하여 수치 정확도 향상.
• 실세계 벤치마크(PETS2009)에서 제안된 방법을 평가하여 복잡한 감시 시나리오에서의 강인성과 확장성 입증.

제안 방법

• 상호 겹침 시야를 제공하는 캘리브레이션된 두 카메라를 사용하여 다중 시각 융합을 통해 음영을 줄이고 가시성을 향상.
• 직접 수치 세기 방법을 위해 두 개의 헤드 검출기 구현: Support Vector Machines(SVM) 기반과 AdaBoost Perceptron 기반으로, 헤드 및 비헤드 이미지로 훈련.
• AdaBoost Perceptron에서 계층형 분류기 아키텍처를 적용하여 검출 효율성 향상 및 오진 탐지 감소.
• 간접 방법의 경우, 사람 그룹의 배경에서 코너 포인트를 추출하고, 영역, 둘레, 가장자리 특징 기반으로 최소 제곱 선형 모델을 사용해 그룹 크기를 추정.
• 시점 왜곡을 보정하기 위해 시점 보정 가중치 부여 방식 적용으로 카메라-사람 거리에 따른 왜곡 보완, 다양한 거리에서의 정확도 향상.
• 호모그래피 기반 대응 관계를 통해 두 시각의 결과를 융합하여 전체 시나리오의 총 사람 수 추정(단일 프레임 또는 시각 기반이 아닌).

실험 결과

연구 질문

• RQ1 단일 카메라 시스템 대비 다중 카메라 융합이 혼잡한 실외 환경에서 사람 수 세기 정확도에 상당한 향상을 이끌 수 있는가?
• RQ2 고밀도, 음영이 많은 환경에서 직접 검출 기반 방법과 간접 통계 모델링 접근법의 성능는 어떻게 비교되는가?
• RQ3 거리 가중치 부여 방식을 도입함으로써 다중 시각 사람 수 세기 정확도는 어느 정도 향상되는가?
• RQ4 장면 수준의 수치 세기에서 다중 카메라 시각 간 신뢰할 수 있는 점 대응을 확립하는 데 있어 핵심 과제는 무엇인가?
• RQ5 카메라 배치 및 높이가 다중 시각 사람 수 세기 시스템의 신뢰성과 정확도에 미치는 영향은 어떠한가?

주요 결과

• 간접 방법은 PETS2009 벤치마크에서 기준 방법 대비 46.7% 향상된 성능 기록하여 혼잡한 장면에서 뛰어난 강인성 입증.
• 간접 방법이 직접 방법을 크게 능가함. 직접 방법은 혼잡한 군중에서 분할 및 검출 실패로 인해 높은 오류율 기록.
• AdaBoost Perceptron 검출기는 두 시각 모두에서 열악한 성능 보였으며, 평균 오류 수가 1프레임당 20명을 초과해 훈련 데이터의 한계와 오진 경고 제어의 어려움을 시사.
• 간접 방법에서 시점 보정 가중치 부여 방식의 활용은 거리에 따른 왜곡 보정으로 정확도 향상에 기여.
• 카메라 높이와 위치는 핵심 요소임: 최적의 배치(5~7미터 높이)와 겹치지 않는 시야 커버리지(예: 보행로를 따라가는 카메라 방지)가 성능 향상에 크게 기여.
• 시간적 일관성(예: 여러 프레임에 걸쳐 헤드가 지속적으로 감지됨)을 고려한 검출 신뢰성 향상 및 오진 감소는 향후 연구에서 고려할 수 있음.