[논문 리뷰] Crowd Counting on Images with Scale Variation and Isolated Clusters

Haoyue Bai, Wen Song외 1명|arXiv (Cornell University)|2019. 09. 09.

Video Surveillance and Tracking Methods참고 문헌 35인용 수 4

한 줄 요약

이 논문은 체계적이고 장거리 맥락 인식 기능을 갖춘 스케일 적응형 장거리 맥락 인식 네트워크인 SACANet을 제안한다. 이는 대규모 변동성과 고립된 소규모 클러스터를 해결하기 위해 피라미드 맥락 모듈, 스케일 적응형 자기주의 다중 브랜치 아키텍처, 계층적 융합을 포함한다. VisDrone2019 및 상하이테크 벤치마크에서 기존 최고 성능(SOTA)을 상회하며, 특히 다양한 스케일과 산산이 흩어진 클러스터를 포함한 극한의 혼잡 조건에서 상당히 낮은 MAE를 기록한다.

ABSTRACT

Crowd counting is to estimate the number of objects (e.g., people or vehicles) in an image of unconstrained congested scenes. Designing a general crowd counting algorithm applicable to a wide range of crowd images is challenging, mainly due to the possibly large variation in object scales and the presence of many isolated small clusters. Previous approaches based on convolution operations with multi-branch architecture are effective for only some narrow bands of scales and have not captured the long-range contextual relationship due to isolated clustering. To address that, we propose SACANet, a novel scale-adaptive long-range context-aware network for crowd counting. SACANet consists of three major modules: the pyramid contextual module which extracts long-range contextual information and enlarges the receptive field, a scale-adaptive self-attention multi-branch module to attain high scale sensitivity and detection accuracy of isolated clusters, and a hierarchical fusion module to fuse multi-level self-attention features. With group normalization, SACANet achieves better optimality in the training process. We have conducted extensive experiments using the VisDrone2019 People dataset, the VisDrone2019 Vehicle dataset, and some other challenging benchmarks. As compared with the state-of-the-art methods, SACANet is shown to be effective, especially for extremely crowded conditions with diverse scales and scattered clusters, and achieves much lower MAE as compared with baselines.

연구 동기 및 목표

• perspective 와 거리로 인해 같은 물리적 크기의 객체가 다르게 보일 수 있는 인파 수세기의 대규모 변동성 문제를 해결한다.
• 고립된 소규모 클러스터의 장거리 맥락 정보를 캡처하는 데에 국한된 수용장치의 한계를 극복한다.
• 특히 극도로 혼잡한 장면에서 다양한 스케일과 산산이 흩어진 클러스터에서도 높은 정확도를 유지할 수 있는 모델을 설계한다.
• 스케일 적응형 주의와 계층적 특징 융합을 통합하여 밀도 맵 회귀 성능을 향상시킨다.
• 극한의 스케일 변동성과 고립된 클러스터를 포함한 도전적인 벤치마크에서 기존 방법보다 더 나은 일반화 능력과 낮은 오차(MAE/MSE)를 달성한다.

제안 방법

• 확장된 컨volution과 다중 스케일 특징 집합을 사용하여 수용장치를 확장하고 장거리 맥락 특징을 추출하기 위해 피라미드 맥락 모듈을 활용한다.
• 객체의 스케일에 따라 가장 적절한 컨볼루션 브랜치를 동적으로 선택하는 스케일 적응형 자기주의 메커니즘을 도입하여 소규모 및 먼 클러스터에 대한 민감도를 향상시킨다.
• 군집 정규화를 사용한 다중 브랜치 아키텍처를 통해 다양한 스케일에서 훈련 안정성과 특징 표현을 향상시킨다.
• 다중 수준 자기주의 특징을 융합하기 위해 계층적 융합 모듈을 구현하여 국소적 및 전역적 맥락의 효과적인 통합을 가능하게 한다.
• 훈련 중 최적화 및 일반화를 향상시키기 위해 네트워크 전반에 걸쳐 군집 정규화를 활용한다.
• 밀도 맵 회귀를 사용하여 엔드 투 엔드로 모델을 훈련시키며, MAE와 MSE를 최소화하기 위해 L1 및 L2 손실을 적용한다.

실험 결과

연구 질문

• RQ1 고정된 커널 크기 의존 없이 딥 러닝 모델이 어떻게 인파 수세기의 대규모 스케일 변동성을 효과적으로 처리할 수 있는가?
• RQ2 장거리 맥락 모델링은 혼잡한 장면에서 고립된 소규모 클러스터 탐지에 얼마나 기여하는가?
• RQ3 스케일 적응형 주의 메커니즘은 다양한 스케일에서 큰 객체와 작은 객체 양쪽 모두의 성능 향상에 기여할 수 있는가?
• RQ4 다중 수준 자기주의 특징의 계층적 융합은 전체 수세기 정확도에 어떻게 기여하는가?
• RQ5 SACANet은 극한의 스케일 변동성과 산산이 흩어진 클러스터를 포함한 벤치마크에서 SOTA 방법보다 더 잘 일반화되는가?

주요 결과

• 상하이테크 A 데이터셋에서 SACANet은 MAE 64.4를 기록했으며, 이는 이전 SOTA 방법인 SANet(MAE 67.0)을 초월한다.
• VisDrone2019 차량 데이터셋에서 SACANet은 MAE 11.3을 기록했으며, MCNN(13.1)보다 상당히 낮아 극도로 혼잡한 장면에서 뛰어난 성능을 보였다.
• SACANet은 SANet 대비 상하이테크 A에서 MAE를 7% 이상 감소시키고, 상하이테크 B에서는 약 4% 감소시켜 정확도 향상이 뚜렷했다.
• 제거 실험 결과 각 구성 요소인 피라미드 맥락 모듈, 스케일 적응형 자기주의, 계층적 융합이 성능 향상에 기여하며, 전체 모델이 가장 우수한 성능을 기록했다.
• SACANet은 모든 스케일 변동성(CV) 및 고립 클러스터(DVI) 서브셋에서 MCNN을 일관되게 능가했으며, 특히 고-CV 및 고-DVI 시나리오에서 더 낮은 MAE와 MSE를 기록했다.
• 군집 정규화의 사용은 훈련 최적화를 향상시켜 다양한 데이터셋에서 더 나은 수렴과 일반화를 기여했다.