[논문 리뷰] Crowd Counting via Hierarchical Scale Recalibration Network

Zhikang Zou, Yifan Liu외 4명|arXiv (Cornell University)|2020. 03. 07.

Video Surveillance and Tracking Methods참고 문헌 34인용 수 17

한 줄 요약

이 논문은 단일 컬럼, 다중 척도 인식 기반의 새로운 커뮤니티 수량 측정 프레임워크인 계층적 척도 재보정 네트워크(HSRNet)를 제안한다. 이는 채널 및 공간적 의존성을 모델링하는 스케일 집중 모듈(SFM)과 적응형 다중 척도 융합을 위한 스케일 재보정 모듈(SRM)을 통해 특징 표현을 향상시킨다. 또한 스케일 특화 예측과 지표 밀도 맵 간의 일치를 도모하기 위해 스케일 일관성 손실을 도입하여 다양한 커뮤니티 수량 기준 평가에서 최고 성능을 기록하고, 차량 수량 측정으로의 일반화 성능도 확보한다.

ABSTRACT

The task of crowd counting is extremely challenging due to complicated difficulties, especially the huge variation in vision scale. Previous works tend to adopt a naive concatenation of multi-scale information to tackle it, while the scale shifts between the feature maps are ignored. In this paper, we propose a novel Hierarchical Scale Recalibration Network (HSRNet), which addresses the above issues by modeling rich contextual dependencies and recalibrating multiple scale-associated information. Specifically, a Scale Focus Module (SFM) first integrates global context into local features by modeling the semantic inter-dependencies along channel and spatial dimensions sequentially. In order to reallocate channel-wise feature responses, a Scale Recalibration Module (SRM) adopts a step-by-step fusion to generate final density maps. Furthermore, we propose a novel Scale Consistency loss to constrain that the scale-associated outputs are coherent with groundtruth of different scales. With the proposed modules, our approach can ignore various noises selectively and focus on appropriate crowd scales automatically. Extensive experiments on crowd counting datasets (ShanghaiTech, MALL, WorldEXPO'10, and UCSD) show that our HSRNet can deliver superior results over all state-of-the-art approaches. More remarkably, we extend experiments on an extra vehicle dataset, whose results indicate that the proposed model is generalized to other applications.

연구 동기 및 목표

• 이미지 내외부에서 극단적인 척도 변동성으로 인해 인파의 밀도가 크게 변하는 상황에서의 커뮤니티 수량 측정 문제를 해결하기 위해.
• 기존 방법들이 다중 척도 특징을 단순히 연결하거나 평균화함으로써 발생하는 스케일 혼란과 노이즈 전파 문제를 해결하기 위해.
• 각 레이어에서 관련된 척도에 적응적으로 집중할 수 있는 통합 네트워크 아키텍처를 개발하여 일관되고 스케일 인식 특징 예측을 생성하기 위해.
• 다양한 척도에서 스케일 특화 출력과 해당 지표 밀도 맵 간의 일관성을 강제하여 일반화 성능을 향상시키기 위해.
• 새로운 차량 수량 측정 데이터셋을 포함한 다양한 데이터셋에서 모델의 효과성을 검증하기 위해.

제안 방법

• 스케일 집중 모듈(SFM)은 채널 및 공간 차원을 따라 순차적으로 전역 맥락을 모델링한다: 먼저 공간 특징을 압축하여 채널별 가중치를 생성하고, 그 다음 채널 특징을 압축하여 공간별 마스크를 생성함으로써 적응형 특징 재보정을 수행한다.
• SFM은 집중 가중치를 사용해 요소별 곱셈을 적용하여 특징 맵을 재보정함으로써, 각 레이어가 수신 필드의 척도 범위에 가장 관련성이 높은 특징을 강조하도록 한다.
• 스케일 재보정 모듈(SRM)은 채널 차원을 따라 특징 맵을 잘라 스케일 관련 특징을 추출한 후, 스케일별 융합 전략을 사용해 다중 척도 예측을 생성한다.
• 새로운 스케일 일관성 손실이 도입되었으며, 이는 다양한 필터 크기에서 평균 풀링을 통해 생성된 지표 밀도 맵과 비교하여 각 스케일 특화 출력을 감독한다.
• 네트워크는 두 단계로 훈련된다: 첫 번째 단계에서는 SFM을 각 백본 레이어에 적용하여 스케일 특화 특징 표현을 향상시키고, 두 번째 단계에서는 SRM이 이러한 특징을 융합하여 최종 밀도 맵 예측을 수행한다.
• 아키텍처는 엔드 투 엔드 학습이 가능하며, 다중 컬럼 또는 다중 경로 아키텍처가 필요 없이 계층적 스케일 인식 능력을 유지하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 단일 컬럼 네트워크에서 각 레이어에서 관련 척도에 적응적으로 특징을 재보정할 수 있는 방법은 무엇인가?
• RQ2 순차적인 채널 및 공간 의존성 모델링이 극단적인 척도 변동성 하에서 커뮤니티 수량에 대한 특징 표현을 얼마나 향상시키는가?
• RQ3 스케일 일관성 손실이 다양한 척도에서 다중 척도 네트워크 출력과 지표 밀도 맵 간의 일치를 효과적으로 도모할 수 있는가?
• RQ4 제안된 HSRNet은 커뮤니티 수량을 넘어, 차량 수량과 같은 다른 밀도 추정 과제로 일반화되는가?
• RQ5 정규화된 연결 또는 평균화 방식과 비교해 볼 때, HSRNet의 계층적 구조는 정확도와 강건성 측면에서 어떤 차이를 보이는가?

주요 결과

• HSRNet은 상하이테크 Part A(62.3 MAE), Part B(7.2 MAE), MALL, WorldExpo’10 등 네 가지 벤치마크 커뮤니티 수량 데이터셋에서 최고 성능을 기록했다.
• 제거 분석 결과, SFM 내에서 채널 → 공간 순서가 가장 뛰어난 성능을 보였으며(62.3 MAE, Part A), 공간 → 채널 순서나 병렬 설계보다 뛰어났다.
• 스케일 일관성 손실은 시각화된 바와 같이 스케일 특화 출력과 해당 지표 맵 간의 일치를 뚜렷이 향상시켰다(Figure 5 참조).
• HSRNet은 상하이테크 Part A에서 다섯 단계의 밀도 수준에서 뛰어난 스케일 불변성을 보였으며, 특히 밀도가 높은 장면에서 MCNN 및 CSRNet을 모두 압도했다.
• 모델은 다른 응용 분야로도 잘 일반화되어, 새로 평가된 차량 수량 측정 데이터셋에서도 뛰어난 성능을 기록했으며, 이는 커뮤니티 수량을 넘어서도 넓은 적용 가능성을 시사한다.
• 스케일 인식 특징 재보정을 통한 계층적 설계 덕분에, 네트워크는 노이즈를 자동으로 무시하고 적절한 인파 척도에 집중할 수 있었다.