[논문 리뷰] Content-aware Density Map for Crowd Counting and Density Estimation

Mahdi Maktabdar Oghaz, Anish Khadka외 2명|arXiv (Cornell University)|2019. 06. 17.

Video Surveillance and Tracking Methods참고 문헌 26인용 수 4

한 줄 요약

이 논문은 군중 수세기에서 지도 학습 정확도를 향상시키기 위해 브루트 포스 최근접 이웃 검색, Chan-Vese 분할 및 적응형 2차원 가우시안 필터링을 조합한 콘텐츠 인식 밀도 지도 생성 방법을 제안한다. 이 방법은 상해시티와 UCF-CC-50 데이터셋에서 최신 기술 모델들에 대해 평균 제곱 오차(MSE)와 평균 절대 오차(MAE)를 감소시키며, 아키텍처 변경 없이도 일관된 성능 향상을 보여준다.

ABSTRACT

Precise knowledge about the size of a crowd, its density and flow can provide valuable information for safety and security applications, event planning, architectural design and to analyze consumer behavior. Creating a powerful machine learning model, to employ for such applications requires a large and highly accurate and reliable dataset. Unfortunately the existing crowd counting and density estimation benchmark datasets are not only limited in terms of their size, but also lack annotation, in general too time consuming to implement. This paper attempts to address this very issue through a content aware technique, uses combinations of Chan-Vese segmentation algorithm, two-dimensional Gaussian filter and brute-force nearest neighbor search. The results shows that by simply replacing the commonly used density map generators with the proposed method, higher level of accuracy can be achieved using the existing state of the art models.

연구 동기 및 목표

• 기존 군중 수세기 데이터셋이 세부 주석이 부족하고 단순한 비콘텐츠 인식 밀도 지도 생성 방식에 의존한다는 한계를 해결한다.
• 콘텐츠 인식 분할과 적응형 가우시안 필터링을 통합하여 지도 밀도 지도의 품질을 향상시킨다.
• 기존 최신 기술 군중 수세기 모델의 표준 밀도 지도 생성기와 제안된 방법을 교체함으로써 정확도를 향상시킨다.
• 특히 고도로 겹쳐진 동적인 군중 장면에서 노이즈와 겹침을 줄인다.
• 보다 나은 지도 주석이 회귀 기반 군중 수세기 모델에서 측정 가능한 성능 향상으로 이어진다는 것을 입증한다.

제안 방법

• 각 군중 내 사람에 대해 브루트 포스 최근접 이웃 검색을 사용하여 가장 가까운 머리 점을 식별함으로써 개인의 머리 위치를 정확하게 국정한다.
• 검출된 머리 점에서 Chan-Vese 분할 알고리즘을 적용하여 정밀한 머리 윤곽을 추출함으로써 정적 가우시안 방법 대비 마스크 정확도를 향상시킨다.
• 분할된 머리 영역을 기반으로 콘텐츠 인식 2차원 가우시안 필터를 생성하며, 실제 머리 모양과 거리에 따라 크기와 강도를 조정한다.
• 개별 가우시안을 누적적으로 합산하여 전역 밀도 지도를 구성하고, 각 반복 단계에서 정규화를 수행하여 수의 무결성을 유지한다.
• 기존 딥 러닝 모델의 표준 k-NN 또는 고정 가우시안 밀도 지도 생성기와의 공정한 비교를 위해 제안된 방법으로 교체한다.
• UCF-CC-50와 상해시티 데이터셋 간 동일한 학습 및 테스트 프로토콜을 활용하여 유효한 성능 평가를 보장한다.

실험 결과

연구 질문

• RQ1 기존의 k-NN 또는 고정 가우시안 접근 방식과 비교해 콘텐츠 인식 밀도 지도 생성 방법이 지도 밀도 지도의 노이즈와 겹침을 줄일 수 있는가?
• RQ2 표준 밀도 지도 생성 방식을 제안된 방법으로 교체하면 기존 최신 기술 군중 수세기 모델의 성능 향상이 이루어지는가?
• RQ3 고도로 겹쳐지고 역동적인 장면이 많은 상해시티 Part A 및 UCF-CC-50와 같은 도전적인 데이터셋에서 제안된 방법의 성능은 어떠한가?
• RQ4 콘텐츠 인식 분할과 적응형 가우시안 필터링이 조밀한 군중 상황에서 국정 및 수세기 정확도를 얼마나 향상시키는가?
• RQ5 기존 모델에 아키텍처 변경 없이 제안된 방법을 통합할 수 있으며, 여전히 측정 가능한 성능 향상이 이루어지는가?

주요 결과

• 제안된 콘텐츠 인식 밀도 지도 생성기는 상해시티 Part A 및 Part B 데이터셋의 모든 테스트 모델에서 평균 제곱 오차(MSE)를 일관되게 감소시킨다.
• 상해시티 Part A에서 MSE 향상은 모델 간 2에서 3점의 범위를 보였으며, Sindagi 등에 의한 방법에서 가장 큰 상대적 향상(152에서 149로)을 기록했다.
• 더 도전적인 UCF-CC-50 데이터셋에서 Zhang 등에 의한 모델은 MSE가 498에서 483으로 감소했고, MAE는 467에서 459로 감소하여 노이즈 감소가 뚜렷하게 나타났다.
• 그림 2의 시각적 비교에서 제안된 방법은 특히 고도로 겹쳐진 영역에서 더 조밀하고 세밀한 밀도 지도를 생성하며, 겹치는 가우시안의 수를 줄였다.
• 누적 가우시안 지도의 반복적 정규화를 통해 겹치는 영역으로 인한 과도한 수세기 방지를 보장하여 수의 무결성을 유지한다.
• 여러 최신 기술 모델에서 일관된 성능 향상이 관찰되어 제안된 지도 생성 기술의 일반화 능력이 확인되었다.