[논문 리뷰] DENet: A Universal Network for Counting Crowd with Varying Densities and Scales

Lei Liu, Jie Jiang외 4명|arXiv (Cornell University)|2019. 04. 17.

Video Surveillance and Tracking Methods참고 문헌 24인용 수 6

한 줄 요약

DENet는 명확하게 분리된 개별 인원을 위한 검출 네트워크(DNet)와 저조도 또는 고밀도 영역에서의 밀도 맵 추정을 위한 인코더-디코더 추정 네트워크(ENet)를 결합한 새로운 이중 브랜치 딥 러닝 프레임워크이다. 수정된 Xception 백본과 하이브리드 확장/역전치 컨볼루션 디코더를 활용함으로써, 기존 방법보다 낮은 평균 절대 오차(MAE)를 기록하며 ShanghaiTech Part A, UCF, WorldExpo'10에서 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Counting people or objects with significantly varying scales and densities has attracted much interest from the research community and yet it remains an open problem. In this paper, we propose a simple but an efficient and effective network, named DENet, which is composed of two components, i.e., a detection network (DNet) and an encoder-decoder estimation network (ENet). We first run DNet on an input image to detect and count individuals who can be segmented clearly. Then, ENet is utilized to estimate the density maps of the remaining areas, where the numbers of individuals cannot be detected. We propose a modified Xception as an encoder for feature extraction and a combination of dilated convolution and transposed convolution as a decoder. In the ShanghaiTech Part A, UCF and WorldExpo'10 datasets, our DENet achieves lower Mean Absolute Error (MAE) than those of the state-of-the-art methods.

연구 동기 및 목표

• 극도로 다양한 밀도와 스케일을 가진 환경에서의 군중 수세기 과제를 해결하기 위해.
• 가림이나 소형으로 인해 검출이 어려운 인원의 정확도를 향상시키기 위해.
• 다양한 군중 시나리오에서 강력한 성능을 내기 위해 개별 인스턴스 검출과 밀도 수준 추정을 통합한 통합 프레임워크를 개발하기 위해.
• 기존 최신 기술 수준의 방법들에 비해 군중 수세기 벤치마크에서 평균 절대 오차(MAE)를 감소시키기 위해.

제안 방법

• DENet는 이중 브랜치 아키텍처를 사용한다: 명확하게 분리된 개인을 식별하고 수세기하기 위한 검출 네트워크(DNet).
• ENet의 인코더로 수정된 Xception 네트워크를 사용하여 다중 스케일 특징 추출을 효과적으로 수행한다.
• ENet의 디코더는 확장 컨볼루션과 역전치 컨볼루션을 조합하여 고해상도 밀도 맵을 재구성한다.
• DNet의 검출 결과는 ENet의 추정 과정을 안내하며, 검출이 어려운 영역에 집중한다.
• 검출 및 밀도 추정 목표를 균형 잡는 병합 손실 함수를 사용하여 엔드 투 엔드로 모델을 훈련시킨다.
• 인코더에서 생성된 특징 맵은 디코더를 통해 업샘플링되며, 공간적 세부 정보를 유지하여 정확한 밀도 예측을 수행한다.

실험 결과

연구 질문

• RQ1 통합 딥 러닝 프레임워크는 극명하게 다른 밀도와 스케일을 가진 환경에서 군중 수세기를 효과적으로 처리할 수 있는가?
• RQ2 어떻게 검출과 밀도 추정을 함께 최적화하여 도전적인 상황에서의 수세기 정확도를 향상시킬 수 있는가?
• RQ3 개별 인스턴스 검출과 밀도 맵 회귀를 통합함으로써 벤치마크 데이터셋에서 MAE가 얼마나 감소하는가?
• RQ4 디코더에서 확장 컨볼루션과 역전치 컨볼루션을 사용하면 소형 또는 가림된 개인의 특징 재구성 품질이 향상되는가?
• RQ5 수정된 Xception 백본은 극단적인 변동 조건에서 군중 수세기의 특징 표현을 향상시키는 데 기여하는가?

주요 결과

• DENet는 모든 최신 기술 수준의 방법들에 비해 ShanghaiTech Part A 데이터셋에서 가장 낮은 평균 절대 오차(MAE)를 기록한다.
• UCF-QNRF 데이터셋에서 DENet는 이전 SOTA 모델들보다 낮은 MAE를 기록하며 뛰어난 성능을 보인다.
• 모델은 저밀도, 중간밀도, 고밀도 환경을 포함한 다양한 군중 시나리오에서 뛰어난 일반화 성능을 보인다.
• DNet와 ENet의 통합은 소형 또는 가려진 개인의 검출을 향상시켜 과소수세기 오차를 줄인다.
• 디코더에서 확장 컨볼루션과 역전치 컨볼루션을 사용함으로써 추정된 밀도 맵의 품질이 크게 향상된다.
• 수정된 Xception 백본은 특히 고밀도 영역에서 더 나은 특징 표현을 기여한다.