[논문 리뷰] Focal Inverse Distance Transform Maps for Crowd Localization and Counting in Dense Crowd

Dingkang Liang, Wei Xu외 2명|arXiv (Cornell University)|2021. 02. 16.

Video Surveillance and Tracking Methods참고 문헌 43인용 수 13

한 줄 요약

이 논문은 기존의 뿌연, 겹치는 밀도 맵을 대체하여 더 선명하고 겹치지 않는 표현 방식인 집중형 역거리 변환(FIDT) 맵을 제안하여, 혼잡한 장면에서 인파의 국소화 및 수량 측정을 향상시킨다. 이 방법은 FIDT 맵에 대한 CNN 회귀를 사용하여 최신 기술 수준의 국소화 성능과 경쟁 가능한 수량 측정 정확도를 달성하며, 극도로 높은 밀도 및 부정적 샘플 상황에서도 뛰어난 강건성을 보인다.

ABSTRACT

In this paper, we propose a novel map for dense crowd localization and crowd counting. Most crowd counting methods utilize convolution neural networks (CNN) to regress a density map, achieving significant progress recently. However, these regression-based methods are often unable to provide a precise location for each person, attributed to two crucial reasons: 1) the density map consists of a series of blurry Gaussian blobs, 2) severe overlaps exist in the dense region of the density map. To tackle this issue, we propose a novel Focal Inverse Distance Transform (FIDT) map for crowd localization and counting. Compared with the density maps, the FIDT maps accurately describe the people's location, without overlap between nearby heads in dense regions. We simultaneously implement crowd localization and counting by regressing the FIDT map. Extensive experiments demonstrate that the proposed method outperforms state-of-the-art localization-based methods in crowd localization tasks, achieving very competitive performance compared with the regression-based methods in counting tasks. In addition, the proposed method presents strong robustness for the negative samples and extremely dense scenes, which further verifies the effectiveness of the FIDT map. The code and models are available at this https URL.

연구 동기 및 목표

• 기존의 회귀 기반 인파 수량 측정 방법이 뿌연, 겹치는 밀도 맵으로 인해 개인의 정확한 국소화가 어려운 점을 해결한다.
• 기존의 밀도 맵이 정확한 개인 국소화를 실패하는 극도로 겹쳐진 인파 지역에서의 도전 과제를 극복한다.
• 매우 혼잡한 장면에서도 공간적 겹침 없이 정확한 머리 위치를 유지하는 새로운 맵 표현 방식을 개발한다.
• 딥러닝을 활용해 제안된 FIDT 맵을 회귀함으로써 동시에 높은 정확도의 인파 수량 측정과 국소화를 달성한다.
• FIDT 맵이 부정적 샘플과 극도로 높은 인파 밀도 상황에서도 강건함을 보임을 통해 일반화 능력을 검증한다.

제안 방법

• 각 개인의 머리 위치 주변에서 집중 효과를 부여하는 거리 기반 표현 방식인 새로운 집중형 역거리 변환(FIDT) 맵을 제안한다.
• 역거리 변환(IDT)을 사용해 각 픽셀이 가장 가까운 사람 점까지의 거리를 계산하여, 정점이 머리 위치에 해당하는 연속적인 맵을 생성한다.
• 각 사람 주변의 중심 영역을 강조하기 위해 집중 메커니즘을 적용하여, 혼잡한 지역에서의 뿌리기 현상을 감소시키고 국소화 정확도를 향상시킨다.
• 단일 순방향 전파로 인파 위치와 수량을 동시에 예측할 수 있도록 FIDT 맵을 엔드 투 엔드로 회귀하는 CNN을 훈련시킨다.
• FIDT 맵이 겹치지 않는 정점 성질을 내재하고 있어, 사람들이 매우 가까이 붙어 있을 때도 정확한 국소화가 가능하다.
• 예측된 FIDT 맵과 진짜 FIDT 맵 간의 차이를 최소화하는 손실 함수를 최적화하여 정확한 공간 표현을 촉진한다.

실험 결과

연구 질문

• RQ1 기존의 밀도 맵에 비해 새로운 맵 표현 방식이 혼잡한 장면에서 인파 국소화 정밀도를 향상시킬 수 있는가?
• RQ2 FIDT 맵이 가까운 개인들 간의 겹치는 영역을 효과적으로 제거하여 고밀도 지역에서 더 명확한 국소화를 가능하게 하는가?
• RQ3 FIDT 맵을 엔드 투 엔드로 회귀함으로써 경쟁 가능한 수량 측정 성능을 달성하면서도 국소화 정확도를 크게 향상시킬 수 있는가?
• RQ4 기존 방법에 비해 FIDT 맵은 부정적 샘플과 극도로 높은 인파 밀도 상황에서 얼마나 강건한가?
• RQ5 FIDT의 집중 메커니즘이 고밀도 인파 상황에서 국소화 정확도를 얼마나 향상시키는가?

주요 결과

• 제안된 FIDT 맵은 기존의 국소화 기반 방법에 비해 인파 국소화 과제에서 최신 기술 수준의 성능을 달성한다.
• 이 방법은 최고의 회귀 기반 방법과 경쟁 가능한 수량 측정 정확도를 달성하여 표준 벤치마크에서 뛰어난 일반화 능력을 보여준다.
• FIDT 맵은 부정적 샘플과 극도로 높은 인파 밀도 상황에서도 강건성을 보이며, 도전적인 조건에서도 신뢰성 있음을 시사한다.
• FIDT 맵에 겹치는 영역이 없어, 사람들이 가까이 붙어 있을 때도 기존의 밀도 맵과 달리 정확한 국소화가 가능하다.
• FIDT의 집중 메커니즘이 중심 정점 강도를 향상시켜 뿌리기 현상을 감소시키고 고밀도 지역에서의 국소화 정확도를 향상시킨다.
• 이 방법은 다양한 인파 밀도에서 효과적이며, 벤치마크 데이터셋에서 일관된 성능 향상이 관찰된다.