[논문 리뷰] Pedestrian Detection: The Elephant In The Room

Irtiza Hasan, Shengcai Liao외 3명|arXiv (Cornell University)|2020. 03. 19.

Advanced Neural Network Applications참고 문헌 35인용 수 19

한 줄 요약

이 논문은 다양한 데이터셋 간에 최신 보행자 검출기의 낮은 일반화 성능을 규명하며, 이는 제한된 훈련 데이터에 과적합되면서 발생한다고 분석한다. 이를 바탕으로 웹 크롤링을 통해 확보한 다양한 데이터셋을 활용한 점진적 훈련 파이프라인을 제안하여, 테스트 세트 미세조정 없이도 CityPersons(+1.3%/1.7% MR^2 향상) 및 Caltech(+1.8%/14.9%)에서 새로운 SoTA 성능을 달성한다.

ABSTRACT

Pedestrian detection is used in many vision based applications ranging from video surveillance to autonomous driving. Despite achieving high performance, it is still largely unknown how well existing detectors generalize to unseen data. To this end, we conduct a comprehensive study in this paper, using a general principle of direct cross-dataset evaluation. Through this study, we find that existing state-of-the-art pedestrian detectors generalize poorly from one dataset to another. We demonstrate that there are two reasons for this trend. Firstly, they over-fit on popular datasets in a traditional single-dataset training and test pipeline. Secondly, the training source is generally not dense in pedestrians and diverse in scenarios. Accordingly, through experiments we find that a general purpose object detector works better in direct cross-dataset evaluation compared with state-of-the-art pedestrian detectors and we illustrate that diverse and dense datasets, collected by crawling the web, serve to be an efficient source of pre-training for pedestrian detection. Furthermore, we find that a progressive training pipeline works good for autonomous driving oriented detector. We improve upon previous state-of-the-art on reasonable/heavy subsets of CityPersons dataset by 1.3%/1.7% and on Caltech by 1.8%/14.9% in terms of log average miss rate (MR^2) points without any fine-tuning on the test set. Detector trained through proposed pipeline achieves top rank at the leaderborads of CityPersons [42] and ECP [4]. Code and models can be accessed at this https URL.

연구 동기 및 목표

• 다양한 데이터셋 간 최신 보행자 검출기의 일반화 성능을 조사하기 위해.
• 기존 보행자 검출 모델의 낮은 일반화 성능의 근본 원인을 규명하기 위해.
• 다양하고 웹에서 크롤링한 데이터셋이 보행자 검출을 위한 사전 훈련 자료로 효과적인지 평가하기 위해.
• 자율주행 기반 벤치마크에서 성능을 향상시키는 점진적 훈련 파이프라인을 설계하고 검증하기 위해.

제안 방법

• 다양한 보행자 검출 벤치마크 간 직접적인 교차 데이터셋 평가를 수행하여 일반화 성능을 평가하기 위해.
• 웹 크롤링을 통해 다양한 밀도 높은 보행자 이미지를 확보하여 사전 훈련에 활용함으로써 데이터의 다양성과 커버리지 확보하기 위해.
• 점진적으로 디테크터를 최종 작업에 적응시키는 파이프라인을 구현하여 강건성 향상시키기 위해.
• 목표 데이터셋에 대한 미세조정 전에 수집한 웹 데이터로 일반 목적 객체 검출기 훈련을 수행하여 테스트 세트 적응 방지하기 위해.
• 표준 지표인 로그 평균 누락률(MR^2)을 사용해 기존 SoTA 보행자 검출기와 성능 비교하기 위해.

실험 결과

연구 질문

• RQ1 최신 보행자 검출기가 다양한 데이터셋 간에 일반화에 실패하는 이유는 무엇인가?
• RQ2 유명한 데이터셋에 대한 과적합이 보행자 검출기의 일반화를 어느 정도 제한하는가?
• RQ3 다양하고 웹에서 크롤링한 데이터셋이 보행자 검출의 일반화를 향상시킬 수 있는가?
• RQ4 점진적 훈련 파이프라인이 자율주행 기반 벤치마크에서 성능 향상에 기여하는가?
• RQ5 교차 데이터셋 평가에서 웹 크롤링 데이터로 사전 훈련하는 것과 기존 표준 데이터셋으로 훈련하는 것의 성능는 어떻게 비교되는가?

주요 결과

• 최신 보행자 검출기는 제한적이고 다양성이 부족한 훈련 데이터에 과적합되면서 다양한 데이터셋 간에 낮은 일반화 성능를 보인다.
• 다양하고 웹에서 크롤링한 데이터로 사전 훈련한 일반 목적 객체 검출기가 직접적인 교차 데이터셋 평가에서 전용 보행자 검출기보다 뛰어난 성능을 보인다.
• 제안된 점진적 훈련 파이프라인은 로그 평균 누락률(MR^2) 기준으로 CityPersons 데이터셋에서 합리적 부분 집합에서 1.3%, 무거운 부분 집합에서 1.7% 향상시켰다.
• Caltech 데이터셋에서는 합리적 부분 집합에서 1.8% 향상되었고, 무거운 부분 집합에서는 14.9% 향상되었다.
• 제안된 파이프라인을 통해 훈련된 검출기는 테스트 세트 미세조정 없이도 CityPersons 및 ECP 랭킹에서 최상위 순위를 기록했다.