[논문 리뷰] Bayesian Multi-Scale Neural Network for Crowd Counting

Abhinav Sagar|arXiv (Cornell University)|2020. 07. 11.

Video Surveillance and Tracking Methods참고 문헌 46인용 수 5

한 줄 요약

이 논문은 공간 해상도를 유지하고 다중 척도적 맥락을 향상시키기 위해 ResNet 기반의 특징 추출기와 확장 및 전치 합성곱을 통합한 베이지안 다중 척도 신경망을 제안한다. 새로운 시야 인식 집합 모듈(Perspective-aware Aggregation Module, PAM)은 척도 및 시야 변화에 대한 강건성을 향상시킨다. 베이지안 추론은 지식적 불확실성과 애나토릭 불확실성 헤드를 통해 불확실성 인식 예측을 가능하게 하여 상해난 셋, UCF-CC-50, UCF-QNRF 데이터셋에서 최소한의 파라미터로 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Crowd counting is a challenging yet critical task in computer vision with applications ranging from public safety to urban planning. Recent advances using Convolutional Neural Networks (CNNs) that estimate density maps have shown significant success. However, accurately counting individuals in highly congested scenes remains an open problem due to severe occlusions, scale variations, and perspective distortions, where people appear at drastically different sizes across the image. In this work, we propose a novel deep learning architecture that effectively addresses these challenges. Our network integrates a ResNet-based feature extractor for capturing rich hierarchical representations, followed by a downsampling block employing dilated convolutions to preserve spatial resolution while expanding the receptive field. An upsampling block using transposed convolutions reconstructs the high-resolution density map. Central to our architecture is a novel Perspective-aware Aggregation Module (PAM) designed to enhance robustness to scale and perspective variations by adaptively aggregating multi-scale contextual information. We detail the training procedure, including the loss functions and optimization strategies used. Our method is evaluated on three widely used benchmark datasets using Mean Absolute Error (MAE) and Mean Squared Error (MSE) as evaluation metrics. Experimental results demonstrate that our model achieves superior performance compared to existing state-of-the-art methods. Additionally, we incorporate principled Bayesian inference techniques to provide uncertainty estimates along with the crowd count predictions, offering a measure of confidence in the model's outputs.

연구 동기 및 목표

• 밀도 높은 군중 장면에서 심한 가림, 척도 변화, 시야 왜곡 등의 과제를 해결하기 위해.
• 새로운 시야 인식 집합 모듈(PAM)을 사용하여 다중 척도 맥락적 특징을 통합함으로써 군중 수세기 정확도를 향상시키기 위해.
• 심층 신경망에서 지식적 불확실성과 애나토릭 불확실성을 모델링하여 해석 가능하고 불확실성 인식 예측을 제공하기 위해.
• 파rameter 효율적인 아키텍처 설계를 통해 낮은 계산 비용으로 높은 성능을 달성하기 위해.

제안 방법

• 기울어짐 기울기 문제를 완화하기 위해 스킵 연결을 갖춘 ResNet 기반의 백본을 사용하여 계층적 특징 추출을 수행한다.
• 수축 경로에서 확장 합성곱을 사용하여 수용 영역을 확장하면서도 공간 해상도를 유지한다.
• 확장 경로에서 전치 합성곱을 적용하여 고해상도 밀도 맵을 재구성한다.
• 다중 척도 특징을 적응적으로 융합하여 척도 및 시야 변화에 대한 강건성을 향상시키는 시야 인식 집합 모듈(PAM)을 도입한다.
• 밀도 맵 예측을 위한 하나의 출력 헤드와 지식적 불확실성 및 애나토릭 불확실성을 추정하기 위한 두 개의 보조 헤드를 갖춘 세 헤드 출력 구조를 구현한다.
• 변분 추론을 통해 가중치 샘플링과 로그우도 기반 손실을 사용하여 각각 지식적 불확실성과 애나토릭 불확실성을 모델링함으로써 엔드 투 엔드 베이지안 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 시야 인식 특징 융합을 갖춘 다중 척도 딥 러닝 아키텍처는 매우 혼잡한 장면에서 군중 수세기 정확도를 향상시킬 수 있는가?
• RQ2 베이지안 딥 러닝 기법은 어떻게 군중 수세기 작업에 효과적으로 통합되어 예측과 함께 불확실성 추정을 제공할 수 있는가?
• RQ3 기존 최신 기술 수준(SOTA) 모델 대비 제안된 방법은 성능을 유지하거나 향상시키면서 얼마나 파라미터 수를 줄일 수 있는가?
• RQ4 지식적 불확실성 및 애나토릭 불확실성 맵은 가림, 시야 왜곡 등의 영향을 받는 이미지 수준의 과제와 어떻게 관련이 있는가?

주요 결과

• 제안된 모델은 상해난 셋, UCF-CC-50, UCF-QNRF 세 가지 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하여 기존 방법보다 MAE 및 MSE 지표에서 모두 승리한다.
• UCF-QNRF 데이터셋에서 모델은 MAE 25.6과 MSE 134.2를 기록하여 이전 최신 기술 수준 방법보다 뚜렷이 슈퍼리어하다.
• 모델의 파라미터 수는 단지 0.24만 개에 불과하여 매우 효율적이며 엣지 장치에의 배포에 적합하다.
• 정성적 분석 결과, 지식적 불확실성과 애나토릭 불확실성은 밀도 높은 군중 지역에서 높아지며, 이 둘 간의 공간 일치는 모델과 데이터의 불확실성을 나타낸다.
• 불확실성 맵은 예측 신뢰도와 빌드업되어 있으며, 빨간 영역(고도의 불확실성)은 가려진, 흐릿하거나 시야 왜곡된 개인과 대응하여 설명 가능성과 신뢰도를 향상시킨다.
• 불확실성 추정 통합은 공공 안전 및 도시 계획과 같은 고위험 응용 분야에서 예측의 신뢰도를 보장하는 신뢰할 수 있는 신뢰도 측정을 제공한다.