[논문 리뷰] PedHunter: Occlusion Robust Pedestrian Detector in Crowded Scenes

Cheng Chi, Shifeng Zhang외 4명|arXiv (Cornell University)|2019. 09. 15.

Video Surveillance and Tracking Methods참고 문헌 41인용 수 8

한 줄 요약

PedHunter은 머리 마스크 예측을 통한 마스크 가이드 모듈, 엄격한 분류 기준, 그리고 오염 시뮬레이션 데이터 증강 기법을 활용하여 혼잡한 장면에서의 오염에 강인한 보행자 검출기를 제안한다. 이는 추론 오버헤드 없이 CityPersons, Caltech-USA, CrowdHuman에서 최신 기준 성능(SoTA)을 달성한다.

ABSTRACT

Pedestrian detection in crowded scenes is a challenging problem, because occlusion happens frequently among different pedestrians. In this paper, we propose an effective and efficient detection network to hunt pedestrians in crowd scenes. The proposed method, namely PedHunter, introduces strong occlusion handling ability to existing region-based detection networks without bringing extra computations in the inference stage. Specifically, we design a mask-guided module to leverage the head information to enhance the feature representation learning of the backbone network. Moreover, we develop a strict classification criterion by improving the quality of positive samples during training to eliminate common false positives of pedestrian detection in crowded scenes. Besides, we present an occlusion-simulated data augmentation to enrich the pattern and quantity of occlusion samples to improve the occlusion robustness. As a consequent, we achieve state-of-the-art results on three pedestrian detection datasets including CityPersons, Caltech-USA and CrowdHuman. To facilitate further studies on the occluded pedestrian detection in surveillance scenes, we release a new pedestrian dataset, called SUR-PED, with a total of over 162k high-quality manually labeled instances in 10k images. The proposed dataset, source codes and trained models will be released.

연구 동기 및 목표

• 혼잡한 장면에서 오염으로 인해 성능이 심각하게 저하되는 보행자 검출 문제를 해결하기 위해.
• 추론 시간 계산량을 증가시키지 않고도 오염된 보행자의 정확도를 향상시키기 위해.
• 혼잡한 장면에서 모호한 양성 샘플로 인한 오진 양성 검출을 줄이기 위해.
• 다양한 오염 패턴에 대한 모델의 강인성을 데이터 증강을 통해 향상시키기 위해.
• 감시 기반 오염된 보행자 검출을 위한 새로운 벤치마크 데이터셋을 구축하기 위해.

제안 방법

• 학습 중에 머리 마스크를 예측하는 마스크 가이드 모듈을 도입하여 추론에 영향을 주지 않고 오염된 보행자의 특징 표현을 향상시킨다.
• 양성 샘플의 품질을 향상시키기 위해 양성 샘플의 IoU 임계값을 상향 조정하고, 진동하는 진짜값을 통합함으로써 엄격한 분류 기준을 도입한다.
• 학습 중에 진짜 박스에 무작위 오염을 적용하여 다양한 오염 패턴을 다양화하는 오염 시뮬레이션 데이터 증강 기법을 도입한다.
• 마스크 가이드 모듈은 추론 시에는 작동하지 않으며, 영역 기반 검출 프레임워크(Faster R-CNN with FPN 등)에 통합되어 학습 중에만 작동한다.
• 162,000개 이상의 레이블이 부여된 인스턴스를 포함한 CityPersons, Caltech-USA, CrowdHuman, 그리고 새로운 데이터셋 SUR-PED에서 평가된다.
• 모든 구성 요소는 추론 효율성을 유지하도록 설계되어 테스트 시 추가적인 계산 비용이 발생하지 않는다.

실험 결과

연구 질문

• RQ1 머리 수준의 감독은 혼잡한 장면에서 오염된 보행자에 대한 특징 구별 능력을 향상시킬 수 있는가?
• RQ2 더 엄격한 IoU 임계값과 진동하는 진짜값을 통한 양성 샘플 품질 개선이 밀집된 장면에서 오진 양성 검출을 줄이는가?
• RQ3 학습 중에 시뮬레이션된 오염이 실제 세계 오염 패턴으로의 일반화 능력을 향상시키는가?
• RQ4 기본 성능 기준 및 무거운 오염 하위세트에서 제안된 방법이 최신 기준 검출기와 비교해 어떻게 성능을 내는가?
• RQ5 새로운 고품질 감시 기반 데이터셋이 오염된 보행자 검출 평가에 어떤 영향을 미치는가?

주요 결과

• CityPersons 검증 세트에서 PedHunter은 MR⁻²를 11.0%에서 8.32%로 감소시켜 이전 SoTA 대비 2.68% 향상시켰다.
• Caltech-USA 데이터셋에서 메서드는 MR⁻²를 2.91%에서 2.31%로 감소시켜 두 번째로 좋은 방법 대비 0.60% 향상시켰다.
• CrowdHuman 데이터셋에서 PedHunter은 MR⁻²를 39.5%로 기록하여 기준 모델 대비 5.7% 향상되고 이전 SoTA 대비 1.6% 향상되었다.
• CityPersons의 무거운 오염 하위세트에서, 메서드는 기준 모델 대비 MR⁻²를 6.21% 감소시켜 RepLoss와 OR-CNN를 크게 앞서갔다.
• 오염 시뮬레이션 데이터 증강은 CityPersons에서 MR⁻²를 1.3% 감소시키고, CrowdHuman에서는 4.1% 감소시켜 그 효과를 입증했다.
• 10,000장의 감시 영상에 약 162,000개의 수동으로 레이블이 부여된 인스턴스를 포함하는 SUR-PED 데이터셋은 실제 감시 환경에서의 오염된 보행자 검출을 위한 새로운 벤치마크를 제공한다.