[논문 리뷰] Reciprocal Distance Transform Maps for Crowd Counting and People Localization in Dense Crowd.

Dingkang Liang, Wei Xu외 2명|arXiv (Cornell University)|2021. 02. 16.

Video Surveillance and Tracking Methods인용 수 4

한 줄 요약

이 논문은 전통적인 밀도 맵을 대체할 새로운 표현 방식인 상호 거리 변환(R-DT) 맵을 제안하여 혼잡한 군중의 수와 사람 위치를 향상시킨다. 이 방법은 겹침을 제거하고 정확한 머리 위치를 유지함으로써 위치 추적 성능을 향상시키며, 위치 추적 분야에서 최신 기술 수준(SOTA) 성능을 달성하고, 수세기 계산에서도 경쟁력 있는 결과를 보이며 다양한 데이터셋 간에 우수한 일반화 능력을 보인다.

ABSTRACT

In this paper, we propose a novel map for dense crowd counting and people localization. Most crowd counting methods utilize convolution neural networks (CNN) to regress a density map, achieving significant progress recently. However, these regression-based methods are often unable to provide a precise location for each people, attributed to two crucial reasons: 1) the density map consists of a series of blurry Gaussian blobs, 2) severe overlaps exist in the dense region of the density map. To tackle this issue, we propose a novel Reciprocal Distance Transform (R-DT) map for crowd counting. Compared with the density maps, the R-DT maps accurately describe the people location, without overlap between nearby heads in dense regions. We simultaneously implement crowd counting and people localization with a simple network by replacing density maps with R-DT maps. Extensive experiments demonstrate that the proposed method outperforms state-of-the-art localization-based methods in crowd counting and people localization tasks, achieving very competitive performance compared with the regression-based methods in counting tasks. In addition, the proposed method achieves a good generalization performance under cross dataset validation, which further verifies the effectiveness of the R-DT map. The code and models are available at this https URL.

연구 동기 및 목표

• 밀도 기반 회귀 기반 군중 수세기 방법이 혼잡한 군중에서 개인을 정확히 국소화하는 데에 한계가 있다는 문제를 해결하기 위해.
• 고밀도 상황에서 가우시안 스무딩으로 인해 발생하는 내재적 흐림과 겹침을 극복하기 위해.
• 매우 겹치는 영역에서도 개인의 정확한 공간 국소화를 유지할 수 있는 새로운 맵 표현 방식을 개발하기 위해.
• 통합된 딥 러닝 프레임워크를 사용하여 동시에 정확한 군중 수세기 및 인물 국소화를 가능하게 하기 위해.

제안 방법

• R-DT 맵은 정답 머리 앵커판에 상호 거리 변환을 적용하여 구성되며, 각 픽셀에 가장 가까운 머리까지의 역수 거리 값을 할당한다.
• 기존의 밀도 맵과는 달리, R-DT 맵은 머리 위치에 날카운 피크를 생성하여 가우시안 커널의 흐림 효과를 제거한다.
• CNN 기반 네트워크에서 표준 밀도 맵 감독을 R-DT 맵 감독으로 대체하여 동시 수세기 및 국소화를 위한 학습을 수행한다.
• 네트워크는 R-DT 맵을 회귀하도록 학습하여 피크 검출을 통한 정확한 국소화와 피크 수세기 또는 통합을 통한 수세기 기능을 구현한다.
• 이 방법은 상호 거리 변환의 기하학적 성질을 활용하여 고밀도 영역에서도 공간 정밀도를 유지한다.
• 표준 군중 수세기 데이터셋을 사용하여 프레임워크를 학습하고 평가하며, 데이터셋 간 일반화 능력을 테스트한다.

실험 결과

연구 질문

• RQ1 표준 밀도 맵과 비교해 볼 때, 새로운 맵 표현 방식이 혼잡한 군중 장면에서 인물 국소화 정확도를 향상시킬 수 있는가?
• RQ2 상호 거리 변환 맵을 사용하면 고밀도 영역에서 겹치는 머리로 인한 국소화 모호성을 줄일 수 있는가?
• RQ3 제안된 방법은 최신 기술 수준의 회귀 기반 및 국소화 기반 군중 수세기 방법과 비교해 어떻게 성능을 내는가?
• RQ4 R-DT 맵은 미세조정 없이 다양한 데이터셋 간에 어느 정도 일반화되는가?
• RQ5 단일 네트워크가 R-DT 맵을 사용하여 수세기 및 인물 국소화 양쪽에서 높은 성능을 동시에 달성할 수 있는가?

주요 결과

• 제안된 R-DT 맵은 표준 군중 수세기 벤치마크에서 인물 국소화 분야에서 최신 기술 수준(SOTA) 성능을 달성한다.
• 이 방법은 경쟁적인 수세기 정확도를 보이며, 선도적인 회귀 기반 방법과 동등하거나 이를 초월한다.
• R-DT 맵은 가우시안 블롭의 겹침이 없는 덕분에 고밀도 영역에서 국소화 오차를 크게 감소시킨다.
• 데이터셋 간 검증에서 우수한 일반화 능력을 보이며, 강건성과 전이 가능성(transferability)을 입증한다.
• R-DT 맵 상의 피크 검출을 통해 정확한 인물 국소화가 가능하며, 기존의 국소화 기반 방법보다 국소화 정확도가 뛰어나다.
• 기존의 밀도 맵이 흐림과 겹침으로 인해 실패하는 극도로 고밀도 상황에서도 이 방법은 높은 성능을 유지한다.