[논문 리뷰] Scene Invariant Crowd Segmentation and Counting Using Scale-Normalized Histogram of Moving Gradients (HoMG)

Parthipan Siva, Mohammad Javad Shafiee외 2명|arXiv (Cornell University)|2016. 02. 01.

Video Surveillance and Tracking Methods참고 문헌 21인용 수 7

한 줄 요약

이 논문은 다양한 카메라 시점에서의 강건성을 보장하기 위해 척도 정규화를 적용한 새로운 저복잡도의 이동 기울기 히스토GRAM(HoMG) 특징을 사용하여 장면에 관계없이 군중 세분화 및 세는 방법을 제안한다. 이 방법은 프레임당 18ms의 실시간 성능(초당 약 55프레임)을 달성하며, 7대의 카메라 벤치마크에서 최신 기술(SOTA)보다 1.5배 낮은 MAE와 2.25배 낮은 MSE를 기록하여 산업용 영상 감시 시스템에 적합한 높은 정확도와 계산 효율성을 입증한다.

ABSTRACT

The problem of automated crowd segmentation and counting has garnered significant interest in the field of video surveillance. This paper proposes a novel scene invariant crowd segmentation and counting algorithm designed with high accuracy yet low computational complexity in mind, which is key for widespread industrial adoption. A novel low-complexity, scale-normalized feature called Histogram of Moving Gradients (HoMG) is introduced for highly effective spatiotemporal representation of individuals and crowds within a video. Real-time crowd segmentation is achieved via boosted cascade of weak classifiers based on sliding-window HoMG features, while linear SVM regression of crowd-region HoMG features is employed for real-time crowd counting. Experimental results using multi-camera crowd datasets show that the proposed algorithm significantly outperform state-of-the-art crowd counting algorithms, as well as achieve very promising crowd segmentation results, thus demonstrating the efficacy of the proposed method for highly-accurate, real-time video-driven crowd analysis.

연구 동기 및 목표

• 각 카메라에 대한 최소한의 校정 또는 애너테이션으로 영상 감시에서 장면에 관계없는 군중 세분화 및 세는 문제를 해결하기 위해.
• 다양한 카메라 각도와 시점 왜곡에 걸쳐 정확도를 유지하는 저복잡도이면서 확장 가능한 특징 기술자(Descriptor)를 개발하기 위해.
• 계산 오버헤드를 최소화하면서 정확도를 극대화하여 산업적 구현을 위한 실시간 처리를 가능하게 하기 위해.
• 확장된 13대의 카메라 데이터셋을 사용하여 다양한 카메라 시점에서의 강건성과 일반화 능력을 입증하기 위해.

제안 방법

• 다른 카메라 거리에서 사람의 크기가 일관되게 유지되도록 척도 정규화를 적용한 스파atiotemporal 특징인 이동 기울기 히스토GRAM(HoMG)을 도입한다.
• 카메라 캘리브레이션을 사용하여 영역을 재스케일링하여 사람의 폭이 항상 w_p 픽셀이 되도록 척도 정규화를 적용하며, 형태는 유지하면서 옷차림의 변동성을 제거한다.
• 실시간 군중 영역 세분화를 위해 슬라이딩 윈도우 기반 HoMG 특징과 약한 분류기의 부스팅 캐스케이드를 사용한다.
• 군중 영역의 HoMG 특징에 선형 SVM 회귀를 적용하여 군중 수를 추정하며, 누적 기울기 크기와 사람 수 사이의 선형 관계를 활용한다.
• 특징 추출 이전에 척도 정규화된 이미지 스트립에서 이동 기울기를 처리하여 일관된 척도 표현을 보장한다.
• C++로 구현하고 SSE 최적화를 적용하여 표준 CPU에서 프레임당 평균 18ms(약 55 FPS)의 처리 속도를 달성한다.

실험 결과

연구 질문

• RQ1 각 카메라에 대한 훈련 없이도 단일의 척도 정규화된 특징 기술자가 다양한 카메라 시점에서 정확한 군중 세분화 및 세는 데에 가능할 수 있는가?
• RQ2 이동 기울기 계산 이전에 척도 정규화를 적용할 경우, HoMG 특징의 선형성과 신뢰성에 어떤 영향을 미치는가?
• RQ3 제안된 HoMG 방법은 정확도와 계산 효율성 측면에서 최신 기술(SOTA)보다 어느 정도 뛰어나게 성능을 발휘하는가?
• RQ4 다양한 카메라 각도와 시나리오를 포함한 더 큰, 다각도의 데이터셋에 적용했을 때도 방법이 강건성을 유지하는가?

주요 결과

• 제안된 HoMG 방법은 7대의 카메라 벤치마크에서 최신 기술인 SIM3C 방법보다 1.5배 낮은 평균 절대 오차(MAE)와 2.25배 낮은 평균 제곱 오차(MSE)를 기록했다.
• 다양한 특징(경계, 블롭, 관건점 기술자 포함)을 사용하는 SIM3C에 비해 단일 특징(HoMG)만을 사용함에도 불구하고, HoMG 방법이 더 뛰어난 성능을 보였다.
• 프레임당 평균 18ms의 처리 시간을 기록하여 실시간 성능을 확보하였으며, 표준 인텔 코어 i7 프로세서에서 약 55 FPS 이상의 성능을 달성했다.
• 이동 기울기 계산 이전의 척도 정규화가 필수적이었다: 이를 생략할 경우 HoMG 특징이 군중 수와의 선형 관계를 상실함을 확인하였으며, 이는 수정된 방법(그림 13)에서 명백히 드러났다.
• 확장된 13대의 카메라 데이터셋은 카메라 각도와 시점의 심각한 변동성에 대한 방법의 강건성을 확인하였으며, 이는 장면에 관계없는 성능을 입증한다.
• 희박한 밀도의 장면에서는 SIM3C보다 더 높은 MDE(Mean Deviation Error)를 보였으며, 이는 사람 수가 적을 경우 노이즈 또는 피팅 변동성에 민감함을 시사한다.