[논문 리뷰] AutoScale: Learning to Scale for Crowd Counting and Localization

Chenfeng Xu, Dingkang Liang외 5명|arXiv (Cornell University)|2019. 12. 20.

Video Surveillance and Tracking Methods참고 문헌 114인용 수 7

한 줄 요약

이 논문은 밀도가 높은 군중에서 사람 간의 시각적 가까움 수준를 조절함으로써 이미지 영역을 자동으로 정규화하는 새로운 러닝 투 스케일(L2S) 모듈인 AutoScale을 제안한다. 이는 긴 꼬리형 밀도 값 분포를 감소시키고 패턴 이동을 완화함으로써 성능을 햖थ한다. 밀도가 높은 영역을 동적으로 재스케일링함으로써 AutoScale은 밀도 맵 회귀와 인명 현지화 성능을 모두 향상시키며, 다양한 군중 수세기 벤치마크에서 최신 기술 수준의 성능을 달성하며 데이터셋 간 일관된 향상 효과를 보였다.

ABSTRACT

Recent works on crowd counting mainly leverage CNNs to count by regressing density maps, and have achieved great progress. In the density map, each person is represented by a Gaussian blob, and the final count is obtained from the integration of the whole map. However, it is difficult to accurately predict the density map on dense regions. A major issue is that the density map on dense regions usually accumulates density values from a number of nearby Gaussian blobs, yielding different large density values on a small set of pixels. This makes the density map present variant patterns with significant pattern shifts and brings a long-tailed distribution of pixel-wise density values. We propose a simple and effective Learning to Scale (L2S) module, which automatically scales dense regions into reasonable closeness levels (reflecting image-plane distance between neighboring people). L2S directly normalizes the closeness in different patches such that it dynamically separates the overlapped blobs, decomposes the accumulated values in the ground-truth density map, and thus alleviates the pattern shifts and long-tailed distribution of density values. This helps the model to better learn the density map. We also explore the effectiveness of L2S in localizing people by finding the local minima of the quantized distance (w.r.t. person location map). To the best of our knowledge, such a localization method is also novel in localization-based crowd counting. We further introduce a customized dynamic cross-entropy loss, significantly improving the localization-based model optimization. Extensive experiments demonstrate that the proposed framework termed AutoScale improves upon some state-of-the-art methods in both regression and localization benchmarks on three crowded datasets and achieves very competitive performance on two sparse datasets.

연구 동기 및 목표

• 밀도가 높은 영역에서 겹치는 가우시안 블롭으로 인해 발생하는 긴 꼬리형 분포와 패턴 이동을 해결하기 위해.
• 기존의 밀도 맵 회귀 방식이 값의 누적으로 실패하는 고밀도 장면에서의 군중 수세기 정확도를 향상시키기 위해.
• 정량화된 거리 맵에서 局부 최소값을 찾아 인명 현지화를 수행함으로써, 현지화 기반 군중 수세기에서 새로운 접근 방식인 강력한 현지화 성능을 달성하기 위해.
• 현지화 기반 모델의 최적화를 향상시키기 위해 동적 크로스 엔트로피 손실을 개발하기 위해.
• 다양한 데이터셋과 기준 모델 간의 이식성과 일관된 향상을 입증하기 위해.

제안 방법

• L2S 모듈은 이미지 패치별로 스케일 인자를 학습하여 사람 간의 가까움 수준을 정규화함으로써, 밀도가 높은 영역에서 누적된 밀도 값을 효과적으로 분해한다.
• L2S는 비지도 클러스터링 방식으로 중심 손실을 사용하여 밀도가 높은 영역을 유사한 적절한 가까움 수준으로 그룹화함으로써 분포 격차를 감소시킨다.
• 학습된 스케일 인자를 사용해 정답 밀도 맵과 예측 맵을 재스케일링함으로써 패턴 이동과 긴 꼬리형 분포를 최소화한다.
• 현지화를 위해 모델은 밀도 맵에서 유도된 정량화된 거리 맵에서 局부 최소값을 탐지함으로써 사람의 위치를 식별한다.
• 학습 안정성과 현지화 정확도를 향상시키기 위해 맞춤형 동적 크로스 엔트로피 손실이 도입된다.
• 기존의 회귀 및 현지화 기반 기준 모델과 호환되어 즉시 통합 가능한 개선 효과를 제공한다.

실험 결과

연구 질문

• RQ1 밀도가 높은 군중 영역을 스케일링하는 방식을 학습함으로써 군중 수세기에서 픽셀 단위의 밀도 값 분포의 긴 꼬리형 분포를 줄일 수 있는가?
• RQ2 사람 간의 가까움 수준을 정규화함으로써 고밀도 장면에서의 밀도 맵 예측 성능이 향상되는가?
• RQ3 제안된 L2S 모듈이 회귀 기반 및 현지화 기반 군중 수세기 양식에 효과적으로 적용될 수 있는가?
• RQ4 표준 크로스 엔트로피 손실 대비 동적 크로스 엔트로피 손실이 현지화 성능을 어떻게 향상시키는가?
• RQ5 AutoScale은 다양한 군중 수세기 데이터셋 간에 얼마나 잘 일반화되는가?

주요 결과

• AutoScale은 상하이 테크 파트 A(60.5 MAE), JHU-Crowd++(76.1 MAE), JHU-Crowd(76.4 MAE)의 세 가지 밀도가 높은 데이터셋에서 최신 기술 수준의 성능을 달성하며, 이전 방법들을 능가한다.
• 현지화 기반 AutoScale 변형은 상하이 테크 파트 A에서 65.8 MAE, JHU-Crowd++에서 85.6 MAE를 기록하여 강력한 현지화 능력을 입증한다.
• 한 개의 영역이 아닌 최대 두 개의 밀도가 높은 영역을 정제함으로써 약 0.7 MAE 이하의 미미한 향상과 2.8 MSE 이내의 개선이 이루어지며, 추가 정제로 인한 수익이 제한적임을 시사한다.
• L2S 모듈은 다양한 기준 모델에서 일관되게 성능 향상을 이끌어내어 강력한 이식성과 일반화 능력을 보였다.
• 동적 크로스 엔트로피 손실은 특히 겹치는 사람이 많은 복잡한 장면에서 현지화 정확도를 크게 향상시켰다.
• AutoScale은 차량 수세기로의 일반화도 잘 이루어져, 군중 수세기 외 응용 분야로의 잠재적 확장 가능성을 보였다.