[논문 리뷰] JHU-CROWD++: Large-Scale Crowd Counting Dataset and A Benchmark Method

Vishwanath A. Sindagi, Rajeev Yasarla외 1명|arXiv (Cornell University)|2020. 04. 07.

Video Surveillance and Tracking Methods인용 수 5

한 줄 요약

이 논문은 빗방울, 눈, 안개, 간섭 물체 등 도전적인 조건을 포함한 4,372장의 이미지와 151만 건의 애너테이션을 가진 대규모이고 다양한 군중 수세기 데이터셋인 JHU-CROWD++를 소개한다. 또한 불확실성 기반 신뢰도 가중치를 사용하는 점진적 잔차 학습을 적용한 신뢰도 유도 딥 리스크리드 카운팅 네트워크(CG-DRCN)를 제안하여 밀도 맵을 정교화함으로써 상하이기술대 및 UCF-QNRF 벤치마크에서 각각 MAE 60.2 및 95.5의 최신 기술 수준 성능을 달성한다.

ABSTRACT

Due to its variety of applications in the real-world, the task of single image-based crowd counting has received a lot of interest in the recent years. Recently, several approaches have been proposed to address various problems encountered in crowd counting. These approaches are essentially based on convolutional neural networks that require large amounts of data to train the network parameters. Considering this, we introduce a new large scale unconstrained crowd counting dataset (JHU-CROWD++) that contains "4,372" images with "1.51 million" annotations. In comparison to existing datasets, the proposed dataset is collected under a variety of diverse scenarios and environmental conditions. Specifically, the dataset includes several images with weather-based degradations and illumination variations, making it a very challenging dataset. Additionally, the dataset consists of a rich set of annotations at both image-level and head-level. Several recent methods are evaluated and compared on this dataset. The dataset can be downloaded from http://www.crowd-counting.com . Furthermore, we propose a novel crowd counting network that progressively generates crowd density maps via residual error estimation. The proposed method uses VGG16 as the backbone network and employs density map generated by the final layer as a coarse prediction to refine and generate finer density maps in a progressive fashion using residual learning. Additionally, the residual learning is guided by an uncertainty-based confidence weighting mechanism that permits the flow of only high-confidence residuals in the refinement path. The proposed Confidence Guided Deep Residual Counting Network (CG-DRCN) is evaluated on recent complex datasets, and it achieves significant improvements in errors.

연구 동기 및 목표

• 기존 군중 수세기 데이터셋의 한계, 즉 다양성 부족, 편향, 환경 오염 애너테이션 부족 문제를 해결하기 위해.
• 악천후 및 복잡한 배경 조건에서도 잘 일반화되는 견고한 군중 수세기 모델을 개발하기 위해.
• 잔차 학습을 통한 밀도 맵의 점진적 정교화를 통해 정확도를 향상시키기 위해.
• 이미지 수준의 애너테이션(예: 날씨, 가림, 흐림)을 학습 과정에 통합하여 견고성을 향상시키기 위해.
• 풍부한 애너테이션을 가진 대규모 비제약 데이터셋을 사용하여 군중 수세기의 새로운 벤치마크를 설정하기 위해.

제안 방법

• VGG16을 백본으로 사용하여 굵은 밀도 맵을 생성하는 새로운 신뢰도 유도 딥 리스크리드 카운팅 네트워크(CG-DRCN)를 제안한다.
• 각 단계에서 이전의 밀도 맵을 잔차 학습을 통해 정교화하는 점진적 정교화 전략을 적용한다.
• 낮은 신뢰도 잔차를 걸러내고 높은 신뢰도 잔차만 전파하는 불확실성 기반 신뢰도 가중치 모듈을 도입한다.
• 이미지 수준의 레이블(예: 날씨, 흐림, 가림)을 사용한 클래스 조절 기법을 도입하여 특징 학습을 유도하고 견고성을 향상시킨다.
• 멀티스케일 감시를 통해 JHU-CROWD++ 데이터셋에서 표준 손실 함수를 사용해 네트워크를 엔드 투 엔드로 훈련한다.
• 이중 브랜치 아키텍처를 사용한다: 하나는 초도 밀도 예측을 위한 것이고, 다른 하나는 신뢰도 게이팅을 통한 잔차 정교화를 위한 것이다.

Figure 2: Examples of head-level annotations: (a) Dots (b) Approximate sizes (c) Blur-level.

실험 결과

연구 질문

• RQ1 환경 오염과 풍부한 애너테이션을 가진 대규모이고 다양한 군중 수세기 데이터셋이 모델의 일반화 능력을 어떻게 향상시키는가?
• RQ2 신뢰도 가중치를 적용한 점진적 잔차 학습이 밀도 맵 정교화와 계산 오차 감소에 기여하는가?
• RQ3 이미지 수준의 애너테이션(예: 날씨, 가림)이 악천후 조건에서 모델 성능 향상에 어느 정도 기여하는가?
• RQ4 제안된 CG-DRCN는 상하이기술대 및 UCF-QNRF와 같은 벤치마크 데이터셋에서 최신 기술 수준의 방법들과 비교해 어떻게 성능을 내는가?
• RQ5 불확실성 기반 잔차 선택이 모델의 안정성과 정확도에 어떤 영향을 미치는가?

주요 결과

• Res넷-101 백본을 사용한 제안된 CG-DRCN는 상하이기술대 Part A 벤치마크에서 평균 절대 오차(MAE) 60.2를 기록하여 표 XII에 나열된 모든 이전 방법들을 능가한다.
• UCF-QNRF 데이터셋에서 CG-DRCN-Res101 모델은 MAE 95.5를 기록하여 대부분의 최근 방법들을 능가하며 최신 기술 수준에 가까이 접근한다.
• 불확실성 기반 신뢰도 가중치 메커니즘이 낮은 신뢰도 잔차를 효과적으로 걸러내어 정교화 과정의 안정성과 정확도를 향상시킨다.
• 이미지 수준의 애너테이션(예: 날씨, 가림)을 통합함으로써 악천후 조건에서 성능 향상이 뚜렷하게 향상되며, 특히 비, 눈, 안개 낀 환경에서 두드러진다.
• JHU-CROWD++ 데이터셋은 4,372장의 이미지와 151만 건의 머리 애너테이션을 포함하여 실생활 조건(심한 날씨, 복잡한 배경 포함)에서 수집되어 뛰어난 다양성과 현실감을 보인다.
• 제거 분석 결과, 잔차 정교화 및 신뢰도 가중치 구성 요소가 최종 성능 향상에 기여하는 데 중요한 역할을 한다.

Figure 3: Summary of keywords used to scrape the internet for images.