[논문 리뷰] Crowd Counting with Density Adaption Networks

Li Wang, Weiyuan Shao외 4명|arXiv (Cornell University)|2018. 06. 26.

Video Surveillance and Tracking Methods참고 문헌 26인용 수 12

한 줄 요약

이 논문은 인파 밀도 수준을 자동으로 추정하고 저밀도 및 고밀도 영역에 맞게 경량 카운터 네트워크를 적응적으로 선택하는 밀도 적응 네트워크(DAN)를 제안한다. 이 방법은 단일 GPU에서 20 FPS로 실행되며, ShanghaiTech Part B에서 CP-CNN보다 2.5 MAE 향상된 최신 기술 성능을 달성한다.

ABSTRACT

Crowd counting is one of the core tasks in various surveillance applications. A practical system involves estimating accurate head counts in dynamic scenarios under different lightning, camera perspective and occlusion states. Previous approaches estimate head counts despite that they can vary dramatically in different density settings; the crowd is often unevenly distributed and the results are therefore unsatisfactory. In this paper, we propose a lightweight deep learning framework that can automatically estimate the crowd density level and adaptively choose between different counter networks that are explicitly trained for different density domains. Experiments on two recent crowd counting datasets, UCF_CC_50 and ShanghaiTech, show that the proposed mechanism achieves promising improvements over state-of-the-art methods. Moreover, runtime speed is 20 FPS on a single GPU.

연구 동기 및 목표

• 감시 시나리오에서 다양한 밀도 수준에서 일관되지 않은 인파 카운팅 성능 문제 해결.
• 기존 방법에서의 통합 정규화 또는 스케일링의 한계를 극복하여 고도로 동적인 또는 균일하지 않은 분포를 가진 인파 조건에서 실패하는 문제 해결.
• 입력 이미지의 밀도 수준에 따라 최적의 카운터 네트워크를 동적으로 선택하는 경량이며 종단 간(end-to-end) 딥 러닝 프레임워크 개발.
• 재학습이나 아키텍처의 복잡성 없이 데이터셋 간 정확도 및 일반화 성능 향상.

제안 방법

• 저밀도(LCN) 및 고밀도(HCN) 영역을 위한 다수의 카운터 네트워크와 밀도 수준 추정기(예측기)를 통합한 공간 게이팅 유닛 도입.
• 이미지 패치의 주된 밀도 영역을 그리드 기반 분류 헤드를 사용해 식별하는 밀도 수준 분류기(DAN) 훈련.
• 공유 백본 네트워크를 통해 특징을 추출한 후, 저밀도 및 고밀도 영역을 위한 별도의 서브네트워크(LCN 및 HCN) 적용.
• 적응형 추론 적용: 예측된 밀도 클래스에 따라 각 이미지 패치를 처리하는 카운터 네트워크를 결정함으로써 도메인 특화 적응 가능.
• 로컬 세부 정보 유지 및 회귀 정확도 향상을 위해 이산적 헤드 카운트 애너테이션과 연속적 밀도 맵을 동시에 훈련에 활용.
• 카운트 회귀와 밀도 분류를 결합한 다중 작업 손실을 사용해 전체 파ip라인을 종단 간(end-to-end) 최적화.

실험 결과

연구 질문

• RQ1 딥 러닝 프레임워크가 인파 이미지의 밀도 수준을 자동으로 감지하고 가장 적합한 카운터 네트워크를 적응적으로 선택할 수 있는가?
• RQ2 도메인 특화 카운터 네트워크 간의 적응적 선택이 통합 정규화 또는 고정 아키텍처 대비 정확도 향상에 얼마나 기여하는가?
• RQ3 제안된 방법이 다양한 인파 분포 및 영상 조건을 가진 데이터셋 간에 얼마나 일반화되는가?
• RQ4 동적인 인파 카운팅 시나리오에서 모델 복잡성, 추론 속도, 정확도 간의 상호 상충 관계는 어떠한가?

주요 결과

• ShanghaiTech Part B에서 CP-CNN 대비 2.5 MAE 향상 달성하여 17.6 MAE 및 26.8 MSE 기록.
• UCF_CC_50에서 Shang 등이 제안한 이전 최신 기술 대비 MAE를 35.8 감소시켜 Part A에서 88.5 MAE 및 147.6 MSE 달성.
• 밀도 수준 추정기(DAN)는 이미지 패치를 저밀도 또는 고밀도 영역으로 분류하는 데 96% 정확도 기록.
• 단일 NVIDIA Titan X GPU에서 20 FPS로 실행되어 실시간 응용에 적합한 높은 효율성 확보.
• 전이 학습 실험 결과, 타겟 데이터셋에서 미세조정(fine-tuning)을 수행할 경우 미미조정 없이 대비 5.6 MAE 및 6.4 MSE 향상.
• 로컬 세부 정보 유지와 계산 효율성의 균형을 고려할 때, 8×8 그리드 크기 및 512×512 입력 해상도에서 최적의 성능 달성.