[논문 리뷰] LDC-Net: A Unified Framework for Localization, Detection and Counting in Dense Crowds

Qi Wang, Tao Han외 3명|arXiv (Cornell University)|2021. 10. 10.

Video Surveillance and Tracking Methods참고 문헌 58인용 수 7

한 줄 요약

LDC-Net은 극도로 밀도가 높은 장면에서 동시에 군중 위치 특정, 탐지 및 세기 작업을 위한 통합된 딥러닝 프레임워크를 제안한다. 이는 새로운 OUSR 손실 함수와 이진화 모듈을 갖춘 위치 및 크기 맵을 예측하는 최소주의적 패러다임에 기반하며, HRNet 기반으로 87.9 AP의 최고 성능을 기록한 탐지 성능과 경쟁 가능한 세기 정확도를 확보하면서도 기존 방법에 비해 계산 복잡도를 크게 감소시켰다.

ABSTRACT

The rapid development in visual crowd analysis shows a trend to count people by positioning or even detecting, rather than simply summing a density map. It also enlightens us back to the essence of the field, detection to count, which can give more abundant crowd information and has more practical applications. However, some recent work on crowd localization and detection has two limitations: 1) The typical detection methods can not handle the dense crowds and a large variation in scale; 2) The density map heuristic methods suffer from performance deficiency in position and box prediction, especially in high density or large-size crowds. In this paper, we devise a tailored baseline for dense crowds location, detection, and counting from a new perspective, named as LDC-Net for convenience, which has the following features: 1) A strong but minimalist paradigm to detect objects by only predicting a location map and a size map, which endows an ability to detect in a scene with any capacity ($0 \sim 10,000+$ persons); 2) Excellent cross-scale ability in facing a large variation, such as the head ranging in $0 \sim 100,000+$ pixels; 3) Achieve superior performance in location and box prediction tasks, as well as a competitive counting performance compared with the density-based methods. Finally, the source code and pre-trained models will be released.

연구 동기 및 목표

• 기존 방법이 극도로 높은 밀도와 큰 척도 변화를 다루는 데에 한계를 보이는 문제를 해결한다.
• 위치 특정, 탐지 및 세기의 세 가지 관련 작업을 하나의 통합된 프레임워크로 통합하여 실용적 활용도를 향상시킨다.
• 밀도 기반 방법의 단점(위치/크기 정보 부족)과 기존 탐지기의 단점(밀도가 높은 군중에서의 낮은 성능)을 극복한다.
• 실시간 배포에 적합한 강력한 다중 척도 일반화 능력과 최소한의 계산 오버헤드를 갖춘 모델을 개발한다.
• 밀도가 높은 군중에서 크기가 0–100 픽셀인 작은 머리부터 100,000 픽셀 이상인 큰 바운딩 박스까지 정확한 탐지를 가능하게 한다.

제안 방법

• 개별 인스턴스 맵(IIM)을 기반으로 인스턴스 수준의 위치 특정을 구현하여 인스턴스 세분화 없이도 탐지가 가능하도록 한다.
• 두 가지 핵심 맵을 예측한다: 머리 중심을 나타내는 위치 맵과 머리 치수(너비 및 높이)를 추정하는 크기 맵.
• 위치 및 크기 예측을 최적화하기 위해 OUSR 손실 함수를 도입하여 탐지 정확도를 향상시키고 가짜 양성 결과를 감소시킨다.
• 예측된 크기 맵을 적응형 임계값 처리와 비최대 억제를 사용해 정밀한 바운딩 박스로 변환하는 새로운 이진화 모듈을 설계한다.
• 실시간 배포를 가능하게 하기 위해 경량 백본(예: HRNet, VGG16)을 사용하여 고속 추론과 낮은 MACs를 유지한다.
• 모델을 얼굴 탐지 작업에 적응시키기 위해 전이 학습을 적용하여 군중 세기 외의 분야로의 일반화 능력을 입증한다.

실험 결과

연구 질문

• RQ1 통합 프레임워크가 동시에 군중 위치 특정, 탐지 및 세기 작업에서 최고 성능을 달성할 수 있는가?
• RQ2 제안된 위치 및 크기 맵 예측 패러다임이 극도로 높은 밀도와 척도 변화 조건에서 어떻게 성능을 발휘하는가?
• RQ3 OUSR 손실 함수와 이진화 모듈이 표준 탐지 또는 밀도 기반 방법에 비해 탐지 정확도를 얼마나 향상시키는가?
• RQ4 다양한 애너테이션 형식(예: 포인트 수준 vs. 박스 수준)과 극단적인 객체 척도를 가진 데이터셋 간에 모델이 얼마나 잘 일반화되는가?
• RQ5 기존 최고 수준의 탐지기들과 비교했을 때 제안된 방법의 계산 효율성은 어떻게 되는가?

주요 결과

• HRNet 기반으로 LDC-Net은 WIDER FACE 검증 세트에서 87.9 AP를 기록하여 TinyFaces 대비 25% 향상되었고, LSC-CNN에 비해 큰 격차를 확보했다.
• 정밀도와 재현율의 균형이 뛰어나 정밀도-재현율 곡선에서 가장 큰 봉우리 면적을 확보하여 다양한 재현율 임계값에서도 안정성을 입증했다.
• LDC-Net은 HRNet 기반으로 MACs를 372.7G로 줄였고, 이미지당 추론 시간을 150ms로 단축시켜 LSC-CNN(4634ms)과 TopoCount(95ms)에 비해 빠르고 효율적인 성능을 보였다.
• 후처리 시간은 CPU에서 33ms로 측정되었으며, 이는 주로 추론의 성능 저하 요인으로 작용하므로 이 단계의 최적화로 추가적인 속도 향상이 가능할 것으로 보인다.
• 모델은 얼굴 탐지 작업으로도 잘 일반화되어 WIDER FACE에서 경쟁 가능한 성능(86.0 AP)을 기록하여 군중 세기 외의 분야로의 이식 가능성도 입증했다.
• LDC-Net은 극도로 빽빽한 장면(예: 1,000명 이상)에서 뛰어난 탐지 성능을 보이며, 크기가 0–100,000 픽셀 이상인 극단적인 척도 변화에도 효과적으로 대응했다.