[논문 리뷰] Adaptive Scenario Discovery for Crowd Counting

Xingjiao Wu, Yingbin Zheng외 4명|arXiv (Cornell University)|2018. 12. 06.

Video Surveillance and Tracking Methods참고 문헌 21인용 수 5

한 줄 요약

이 논문은 서로 다른 수신장이 있는 두 개의 병렬 컨볼루션 경로를 사용하여 다중 척도의 군중 밀도를 캡처하고, 학습 가능한 이산화된 적응 브랜치를 통해 그들의 반응을 다이나믹하게 재보정하는 적응형 시나리오 탐지(ASD) 프레임워크를 제안한다. 이 방법은 기존 SOTA 모델 대비 ShanghaiTech 및 UCF_CC_50에서 각각 MAE를 2.6%와 26.3% 감소시켜 최신 기준 성능을 달성한다.

ABSTRACT

Crowd counting, i.e., estimation number of the pedestrian in crowd images, is emerging as an important research problem with the public security applications. A key component for the crowd counting systems is the construction of counting models which are robust to various scenarios under facts such as camera perspective and physical barriers. In this paper, we present an adaptive scenario discovery framework for crowd counting. The system is structured with two parallel pathways that are trained with different sizes of the receptive field to represent different scales and crowd densities. After ensuring that these components are present in the proper geometric configuration, a third branch is designed to adaptively recalibrate the pathway-wise responses by discovering and modeling the dynamic scenarios implicitly. Our system is able to represent highly variable crowd images and achieves state-of-the-art results in two challenging benchmarks.

연구 동기 및 목표

• 다양한 카메라 시점, 배경 혼잡도, 군중 밀도 등 매우 다양하게 변하는 군중 시나리오를 모델링하는 데 도전하는 것.
• 다중 브랜치 군중 수세기 네트워크에서 고정된 가중치 융합 또는 수작업으로 시나리오를 선택하는 것의 한계를 극복하는 것.
• 학습 가능한 이산화된 적응 브랜치를 통해 시나리오를 암묵적으로 탐지하고, 입력 이미지 특성에 따라 경로 반응을 다이나믹하게 재보정하는 것.
• 다양한 실제 군중 이미지에서 보행자 수를 예측하는 데 있어 강건성과 정확도를 향상시키는 것.
• 명시적인 시나리오 애너테이션을 요구하지 않고도 기준 데이터셋에서 최신 기준 성능을 달성하는 것.

제안 방법

• VGG 기반의 이중 경로 CNN 아키텍처를 설계하여, 흩어진 군중에 적합한 더 큰 수신장이 있는 하나의 경로와, 농도 높은 군중에 적합한 더 작은 수신장이 있는 다른 경로를 사용한다.
• 두 경로 출력의 가중치를 다이나믹하게 할당하기 위해, 미분 가능하고 이산화된 소프트 어텐션 메커니즘을 사용하는 제3의 적응 브랜치를 도입한다.
• 전역 평균 풀링과 완전 연결층을 적용하여 시나리오 인식 융합 가중치를 생성하며, 출력을 유한한 수의 박자로 이산화하여 서로 다른 군중 시나리오를 암묵적으로 모델링한다.
• 밀도 맵에 대한 표준 회귀 손실을 사용하여 전체 네트워크를 엔드 투 엔드로 훈련시켜 특징 학습과 시나리오 인식 융합의 공동 최적화를 가능하게 한다.
• 스페이셜 해상도를 유지하고 다중 척도 컨텍스트를 캡처하기 위해 백본에서 dilated 컨볼루션을 적용한다.
• 입력 이미지 특성에 따라 가장 관련성이 높은 경로를 적응적으로 강조할 수 있도록 학습 가능한 융합 전략을 적용한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 명시적인 시나리오 애너테이션 없이도 다양한 군중 시나리오를 암묵적으로 탐지하고 적응할 수 있는가?
• RQ2 군중 수세기에서 다이나믹하고 학습 가능한 특징 융합은 고정 또는 수작업으로 선택된 융합 방식보다 어떻게 비교되는가?
• RQ3 융합 가중치를 이산화하는 것이 다양한 군중 밀도와 촬영 조건에서 일반화 성능을 얼마나 향상시키는가?
• RQ4 제안된 적응형 시나리오 탐지 프레임워크는 표준 기준 데이터셋에서 기존의 다중 브랜치 군중 수세기 모델을 능가하는가?
• RQ5 성능가 15개의 이산화 박자 및 그룹화된 시나리오의 수에 얼마나 민감한가?

주요 결과

• 제안된 ASD 프레임워크는 ShanghaiTech Part A에서 평균 절대 오차(MAE) 65.6을 달성하여 CSRNet(MAE 68.2)과 Switching-CNN(MAE 90.4)를 모두 초월한다.
• ShanghaiTech Part B에서는 보고된 바 중 가장 낮은 MAE 8.5와 MSE 13.7를 기록하여 중간 밀도 군중에 대한 강력한 일반화 능력을 입증한다.
• 매우 도전적인 UCF_CC_50 데이터셋에서 ASD 프레임워크는 이전 SOTA 대비 MAE를 26.3% 감소시키고 MSE를 31.8% 감소시켜 고밀도 장면에 대한 강건성을 향상시켰음을 나타낸다.
• 절단 분석 결과, 15개 시나리오로 이산화된 학습 가능한 융합이 가장 높은 성능을 보였다(MAE 65.6). 이는 비이산화 융합(MAE 69.4)과 2개 박자 이산화(MAE 74.4)를 모두 능가한다.
• 정성적 결과는 모델이 시점, 배경, 군중 밀도 등의 시각적 단서에 기반해 이미지를 상호 다른 시나리오로 그룹화하는 것을 학습하고 있음을 보여주며, 그림 5에 시각화되어 있다.
• 프레임워크는 아키텍처 변형에 대해 강건하며, 성능 향상은 경로와 적응형 융합 브랜치가 모두 존재할 때만 관찰되며, 전체 아키텍처의 필수성을 확인한다.