[논문 리뷰] CrowdHuman: A Benchmark for Detecting Human in a Crowd

Shuai Shao, Zijian Zhao외 5명|arXiv (Cornell University)|2018. 04. 30.

Video Surveillance and Tracking Methods참고 문헌 23인용 수 495

한 줄 요약

본 논문은 Crowdhuman을 대규모로 풍부하게 주석된 보행자 탐지를 위한 데이터 세트로 소개합니다. 이 데이터 세트는 혼잡한 장면에서 470k 인스턴스, 이미지당 22.6명, 그리고 사람당 세 가지 바운딩 박스 타입을 포함하며, 프리트레이닝에 사용할 때 교차 데이터셋 일반화가 강력함을 보여줍니다.

ABSTRACT

Human detection has witnessed impressive progress in recent years. However, the occlusion issue of detecting human in highly crowded environments is far from solved. To make matters worse, crowd scenarios are still under-represented in current human detection benchmarks. In this paper, we introduce a new dataset, called CrowdHuman, to better evaluate detectors in crowd scenarios. The CrowdHuman dataset is large, rich-annotated and contains high diversity. There are a total of $470K$ human instances from the train and validation subsets, and $~22.6$ persons per image, with various kinds of occlusions in the dataset. Each human instance is annotated with a head bounding-box, human visible-region bounding-box and human full-body bounding-box. Baseline performance of state-of-the-art detection frameworks on CrowdHuman is presented. The cross-dataset generalization results of CrowdHuman dataset demonstrate state-of-the-art performance on previous dataset including Caltech-USA, CityPersons, and Brainwash without bells and whistles. We hope our dataset will serve as a solid baseline and help promote future research in human detection tasks.

연구 동기 및 목표

• 혼잡한 장면에서 심한 가림으로 인한 인간 탐지의 문제를 해결한다.
• 기존 벤치마크보다 군집 가림을 더 잘 나타낼 수 있도록 크고 다양한 데이터 세트를 제공한다.
• 가림에 민감한 탐지를 지원하기 위해 사람당 세 가지 바운딩 박스 주석(헤드, 가시 영역, 전신)을 제공한다.
• CrowdHuman을 교차 데이터셋 일반화 및 다른 벤치마크의 프리트레이닝 데이터로서의 유용성을 입증한다.

제안 방법

• 웹 이미지로부터 다양한 군중 풍경을 수집하고 주석화한다(약 60k 후보, 최종 약 25k). 15k 학습 이미지, 4,370 검증 이미지, 5,000 테스트 이미지로 구성한다.
• 각 인간에 대해 전신, 가시 영역, 헤드 바운딩 박스를 주석화하고 품질을 재확인한다.
• 밀도, 가림, 페어/트라이드 중첩 등 군중의 난이도를 특징짓는 풍부한 통계치를 제공한다.
• 기준 탐지기(FPN + Faster R-CNN, RetinaNet)를 mMR 및 AP 지표로 평가하고, 전신/가시/헤드 작업에 맞춘 앵커 비율을 적용한다.
• 교차 데이터셋 실험을 수행한다: CrowdHuman에서 프리트레이닝한 뒤 Caltech, CityPersons, COCOPersons, Brainwash에서 미세조정하여 일반화를 평가한다.

실험 결과

연구 질문

• RQ1 CrowdHuman의 성능이 혼잡한 시나리오의 기존 데이터셋과 어떻게 비슷하게 혹은 다르게 나타나는가?
• RQ2 CrowdHuman이 Caltech, CityPersons, COCOPersons, Brainwash의 탐지를 개선하기 위한 효과적인 프리트레이닝 데이터로 작용할 수 있는가?
• RQ3 세 가지 바운딩 박스 주석이 군중에서 전신, 가시 영역, 머리를 탐지하는 데 어떤 이점을 제공하는가?
• RQ4 CrowdHuman에서 프리트레이닝된 탐지기가 다양한 보행자 및 머리 탐지 벤치마크에 얼마나 잘 일반화되는가?

주요 결과

• CrowdHuman은 train+validation 부분에서 약 470k 명 인스턴스를 포함하고 있으며, 15,000개의 학습 이미지에서 평균 22.6명 per image.
• 데이터 세트는 각 사람에 대해 세 가지 바운딩 박스 유형(헤드, 가시-몸체, 전신)을 제공합니다.
• 기준 탐지기(FPN과 RetinaNet)은 강력한 성능 차이를 보이며, 일반적으로 이 작업에서 FPN이 RetinaNet보다 우수합니다.
• CrowdHuman에서의 교차 데이터셋 프리트레이닝은 Caltech에서 성능을 향상시킵니다(mMR 8.81 vs Caltech baseline의 10.08), CityPersons에서(또한 상위 인용), Brainwash에서(17.24 vs 19.77) 향상을 보입니다.
• CrowdHuman에서 프리트레이닝 후 COCOPersons에서 미세조정하면 AP가 85.02, mMR이 39.79로 나타나며, COCOPersons에서만 학습할 때는 AP 83.83, mMR 41.89입니다.
• CrowdHuman 프리트레이닝 후 CityPersons에서 미세조정하면 결과가 향상됩니다(예: CrowdHuman에서 CityPersons로 미세조정 시 mMR 10.67).