[논문 리뷰] NWPU-Crowd: A Large-Scale Benchmark for Crowd Counting.

Qi Wang, Junyu Gao외 2명|arXiv (Cornell University)|2020. 01. 10.

Video Surveillance and Tracking Methods참고 문헌 30인용 수 30

한 줄 요약

이 논문은 5,109장의 이미지와 213만 개의 레이블링된 머리 수를 포함하는 대규모 벤치마크인 NWPU-Crowd를 소개한다. 이는 군중 수세기 및 국소화를 위한 것으로, 극단적인 밀도 변화(0–20,033)와 다양한 조명 조건을 특징으로 하며, 공개 벤치마크 웹사이트를 통해 CNN 기반 방법의 엄격한 평가를 가능하게 하여 군중 수세기 분야의 기술 수준을 크게 향상시킨다.

ABSTRACT

In the last decade, crowd counting and localization attract much attention of researchers due to its wide-spread applications, including crowd monitoring, public safety, space design, etc. Many Convolutional Neural Networks (CNN) are designed for tackling this task. However, currently released datasets are so small-scale that they can not meet the needs of the supervised CNN-based algorithms. To remedy this problem, we construct a large-scale congested crowd counting and localization dataset, NWPU-Crowd, consisting of 5,109 images, in a total of 2,133,375 annotated heads with points and boxes. Compared with other real-world datasets, it contains various illumination scenes and has the largest density range (0~20,033). Besides, a benchmark website is developed for impartially evaluating the different methods, which allows researchers to submit the results of the test set. Based on the proposed dataset, we further describe the data characteristics, evaluate the performance of some mainstream state-of-the-art (SOTA) methods, and analyze the new problems that arise on the new data. What's more, the benchmark is deployed at \url{this https URL}, and the dataset/code/models/results are available at \url{this https URL}.

연구 동기 및 목표

• 기존 군중 수세기 데이터셋의 한계를 해결하기 위해, 깊이 있는 CNN 기반 방법의 훈련 및 평가를 지원할 수 있는 충분한 규모의 데이터셋이 부족하다는 점을 해결하기 위해.
• 극도의 밀도 변화와 다양한 조명 조건을 포함한 대규모, 다양하고 현실적인 데이터셋을 제공하기 위해.
• 표준화된 테스트 세트를 바탕으로 군중 수세기 방법에 대한 공정한 평가를 가능하게 하기 위해 공개 벤치마크 웹사이트를 구축하기 위해.
• 제안된 데이터셋을 통해 고밀도 및 복잡한 환경에서 발생하는 새로운 과제를 분석하기 위해.
• 공유된 데이터, 코드, 결과를 통해 최신 군중 수세기 모델의 개발 및 비교를 촉진하기 위해.

제안 방법

• 실제 환경의 5,109장의 이미지로 구성된 대규모 군중 수세기 데이터셋인 NWPU-Crowd의 구축으로, 개별 머리 수에 대한 점 및 상자 레이블링을 포함한다.
• 극도의 혼잡과 다양한 조명 조건을 포함한 다양한 환경에서 총 2,133,375개의 머리 수를 레이블링한다.
• 테스트 세트를 호스팅하고 제출된 방법에 대한 표준화되고 공정한 평가를 가능하게 하기 위해 벤치마크 웹사이트를 설계한다.
• 기존 모델들이 도전받을 수 있도록 보고된 가장 넓은 밀도 범위(0에서 20,033까지)의 데이터 수집을 통해 기존 모델의 성능을 시험한다.
• 새로운 데이터셋에서 여러 최신 군중 수세기 모델의 성능을 평가하여 성능 격차와 새로운 실패 모드를 규명한다.
• 공개 URL을 통해 데이터셋, 코드, 모델 및 결과를 배포하여 접근성과 재현 가능성을 보장한다.

실험 결과

연구 질문

• RQ1 기존 최신 군중 수세기 모델들은 NWPU-Crowd와 같은 대규모, 고밀도, 다양한 실제 환경 데이터셋에서 어떻게 성능을 내는가?
• RQ2 현재 모델이 충분히 다루지 못하는 극단적인 밀도와 복잡한 조명 조건에서 어떤 새로운 과제가 발생하는가?
• RQ3 제안된 벤치마크는 군중 수세기 방법에 대한 공정하고 재현 가능한 평가를 어떻게 가능하게 하는가?
• RQ4 NWPU-Crowd의 주요 데이터 특성은 스케일, 다양성, 밀도 범위 측면에서 기존 데이터셋과 어떻게 다를까?
• RQ5 점 및 상자 레이블링을 모두 포함함으로써 군중 수세기 모델의 평가 및 국소화 능력은 어떻게 향상되는가?

주요 결과

• NWPU-Crowd 데이터셋은 5,109장의 이미지와 2,133,375개의 레이블링된 머리 수를 포함하며, 현재까지 가장 크고 다양한 군중 수세기 데이터셋이다.
• 이 데이터셋은 0에서 20,033까지의 사전에 없는 밀도 범위를 포함하여, 더 작은, 덜 밀도 높은 데이터로 훈련된 기존 모델의 한계를 드러낸다.
• 벤치마크에서의 평가 결과, 여러 최신 모델이 고밀도 및 저조도 환경에서 심각한 성능 저하를 보이며 새로운 실패 모드를 드러낸다.
• 벤치마크 웹사이트를 통해 표준화되고 공정한 평가가 가능해져 재현 가능성과 방법 간의 공정한 비교를 촉진한다.
• 데이터셋과 벤치마크는 심각한 가림, 극단적인 밀도 변화와 같은 군중 수세기 분야의 새로운 과제 발견을 가능하게 한다.
• 공개 URL에서 제공되는 코드, 모델 및 결과는 투명성을 높이고 분야 내 연구 진전을 가속화한다.