[논문 리뷰] CNN-based Density Estimation and Crowd Counting: A Survey

Guangshuai Gao, Junyu Gao외 3명|arXiv (Cornell University)|2020. 03. 28.

Video Surveillance and Tracking Methods참고 문헌 219인용 수 141

한 줄 요약

이 논문은 CNN 기반 밀도 추정 및 군중 계산 모델을 조사하고, 아키텍처, 학습 패러다임, 평가 데이터셋을 분석하며, 밀도 맵, 테스트 결과, 향후 연구를 안내하는 문제점을 제시합니다.

ABSTRACT

Accurately estimating the number of objects in a single image is a challenging yet meaningful task and has been applied in many applications such as urban planning and public safety. In the various object counting tasks, crowd counting is particularly prominent due to its specific significance to social security and development. Fortunately, the development of the techniques for crowd counting can be generalized to other related fields such as vehicle counting and environment survey, if without taking their characteristics into account. Therefore, many researchers are devoting to crowd counting, and many excellent works of literature and works have spurted out. In these works, they are must be helpful for the development of crowd counting. However, the question we should consider is why they are effective for this task. Limited by the cost of time and energy, we cannot analyze all the algorithms. In this paper, we have surveyed over 220 works to comprehensively and systematically study the crowd counting models, mainly CNN-based density map estimation methods. Finally, according to the evaluation metrics, we select the top three performers on their crowd counting datasets and analyze their merits and drawbacks. Through our analysis, we expect to make reasonable inference and prediction for the future development of crowd counting, and meanwhile, it can also provide feasible solutions for the problem of object counting in other fields. We provide the density maps and prediction results of some mainstream algorithm in the validation set of NWPU dataset for comparison and testing. Meanwhile, density map generation and evaluation tools are also provided. All the codes and evaluation results are made publicly available at https://github.com/gaoguangshuai/survey-for-crowd-counting.

연구 동기 및 목표

• CNN 기반 밀도 추정 및 군중 계산 모델에 대한 포괄적 리뷰를 제공한다.
• 네트워크 아키텍처, 감독 형태, 학습 패러다임, 도메인 간 일반화에 따라 방법을 분류한다.
• 성능에 영향을 미치는 요인을 분석하고 최상위 방법들의 장점과 단점을 식별한다.
• 향후 연구를 안내하기 위해 데이터셋, 평가 지표, 벤치마크 결과를 제시한다.
• 데이터셋, 모델, 그리고 다른 도메인으로의 일반화에 대한 개방형 질문과 향후 방향을 제시한다.

제안 방법

• CNN 기반 군중 계산 모델을 기본(basic), 다중 열(multi-column), 단일 열(single-column) 아키텍처로 조사하고 분류한다.
• 단일 작업(single-task) 및 다중 작업 프레임워크를 포함한 학습 패러다임을 검토한다.
• 패치 기반 및 전체 이미지 기반 접근 방식으로 추론 방식을 논의한다.
• 인스턴스 수준에서 약 지도 학습 및 다중 작업 설정에 이르는 감독 형태를 검토한다.
• 밀도 맵 생성 및 평가 도구를 제공하고 코드 및 결과를 공개적으로 공유한다.
• 표준 데이터셋에서 대표 모델을 벤치마킹하고 강점과 한계를 분석한다.

실험 결과

연구 질문

• RQ1 군중 계산 및 밀도 추정을 위한 대표적인 CNN 기반 네트워크 아키텍처는 무엇인가?
• RQ2 학습 패러다임과 감독 형태가 성능 및 일반화에 어떤 영향을 미치는가?
• RQ3 CNN 기반 군중 계산의 진행 상황을 가장 잘 포착하는 데이터셋과 평가 지표는 무엇이며, 어떤 모델이 벤치마크에서 상위에 있는가?
• RQ4 남아 있는 개방 과제는 무엇이며, 향후 연구에서 가장 유망해 보이는 방향은 어디인가?

주요 결과

• 본 연구는 CNN 기반 밀도 추정 군중 계산 모델을 체계적으로 검토하고 분류 체계와 분석을 제공한다.
• 대표 데이터셋에서 최상위 방법들을 식별하고 그 장점과 단점을 분석한다.
• 주류 알고리즘에 대한 밀도 맵 및 예측 결과가 NWPU 검증 세트에서 비교를 위해 제공된다.
• 저자들은 밀도 맵 생성 및 평가 도구를 제공하고 재현성을 위해 코드와 결과를 공개한다.
• 모델 설계, 데이터셋 수집 및 도메인 적응에서의 개방 이슈, 도전 과제 및 향후 방향에 대해 논의한다.
• 본 논문은 기본 CNN에서 다중 칼럼 및 단일 칼럼 아키텍처로의 진화를 학습 패러다임 및 감독 수준과 함께 맥락화한다.