[논문 리뷰] Generalizable Pedestrian Detection: The Elephant In The Room

Irtiza Hasan, Shengcai Liao외 3명|arXiv (Cornell University)|2020. 03. 19.

Advanced Neural Network Applications참고 문헌 47인용 수 7

한 줄 요약

이 논문은 최신 보행자 검출기에서의 낮은 일반화 성능을 심각한 결함으로 지적하며, 일반 목적 객체 검출기가 교차 데이터셋 평가에서 전문화된 검출기보다 뛰어난 성능을 보임을 입증한다. 다양한 웹 크롤링 데이터셋인 CrowdHuman과 Wider Pedestrian을 활용해 점진적인 사전 훈련을 수행함으로써, 도메인 특화 미세조정 없이도 성능 향상이 크게 이루어졌으며, Caltech와 CityPersons에서 각각 MR⁻²에 대해 3.7%와 1.5% 향상된 결과를 얻었다. 이는 향후 검출기 개발을 위한 표준으로 교차 데이터셋 평가를 권장한다.

ABSTRACT

Pedestrian detection is used in many vision based applications ranging from video surveillance to autonomous driving. Despite achieving high performance, it is still largely unknown how well existing detectors generalize to unseen data. This is important because a practical detector should be ready to use in various scenarios in applications. To this end, we conduct a comprehensive study in this paper, using a general principle of direct cross-dataset evaluation. Through this study, we find that existing state-of-the-art pedestrian detectors, though perform quite well when trained and tested on the same dataset, generalize poorly in cross dataset evaluation. We demonstrate that there are two reasons for this trend. Firstly, their designs (e.g. anchor settings) may be biased towards popular benchmarks in the traditional single-dataset training and test pipeline, but as a result largely limit their generalization capability. Secondly, the training source is generally not dense in pedestrians and diverse in scenarios. Under direct cross-dataset evaluation, surprisingly, we find that a general purpose object detector, without pedestrian-tailored adaptation in design, generalizes much better compared to existing state-of-the-art pedestrian detectors. Furthermore, we illustrate that diverse and dense datasets, collected by crawling the web, serve to be an efficient source of pre-training for pedestrian detection. Accordingly, we propose a progressive training pipeline and find that it works well for autonomous-driving oriented pedestrian detection. Consequently, the study conducted in this paper suggests that more emphasis should be put on cross-dataset evaluation for the future design of generalizable pedestrian detectors. Code and models can be accessed at https://github.com/hasanirtiza/Pedestron.

연구 동기 및 목표

• 최신 보행자 검출기가 알려지지 않은 데이터셋으로 일반화가 잘 되지 않는 이유를 조사하기 위해.
• 데이터셋 편향과 제한된 훈련 다양성과 같은 낮은 일반화의 근본 원인을 규명하기 위해.
• 교차 데이터셋 평가에서 일반 목적 객체 검출기가 전문화된 보행자 검출기보다 뛰어나게 되는지 평가하기 위해.
• 자율 주행 응용 분야를 위한 일반화 능력을 향상시키기 위해 다양한 대규모 데이터셋을 활용한 점진적 훈련 파이프라인을 제안하기 위해.

제안 방법

• Caltech, CityPersons, ECP, CrowdHuman, Wider Pedestrian을 벤치마크로 사용하여 직접적인 교차 데이터셋 평가를 수행한다.
• 여러 데이터셋에서 최신 보행자 검출기와 일반 목적 객체 검출기(예: Cascade R-CNN)를 훈련 및 평가하여 일반화 능력을 평가한다.
• 높은 보행자 밀도와 시나리오 다양성이 뛰어나기 때문에 웹 크롤링 데이터셋(CrowdHuman, Wider Pedestrian)을 사전 훈련 소스로 사용한다.
• 점진적 훈련 파이프라인을 구현한다: 가장 크고 거리가 먼 데이터셋(예: Wider Pedestrian)에서 사전 훈련을 수행한 후, 점차 작고 도메인에 가까운 데이터셋(예: ECP, CityPersons, Caltech)으로 순차적으로 미세조정한다.
• 공정한 비교를 위해 모든 데이터셋 간에 동일한 평가 지표(MR⁻²)를 '합리적인' 부분집합에 적용한다.
• 모델 간 공정한 비교를 확보하기 위해 배경 네트워크(예: ResNeXt-101)와 훈련 프rotocol를 동일하게 사용한다.

실험 결과

연구 질문

• RQ1 최신 보행자 검출기가 서로 다른 보행자 검출 데이터셋 간에 일반화가 잘 되지 않는 이유는 무엇인가?
• RQ2 특히 앵커 설정이 포함된 보행자 검출기의 설계 편향이 일반화 능력을 어떻게 제한하는가?
• RQ3 다양하고 대규모의 데이터셋에서 훈련된 일반 목적 객체 검출기가 다양한 웹 크롤링 데이터셋에서 전문화된 보행자 검출기보다 뛰어나게 되는가?
• RQ4 다양하고 웹 크롤링된 데이터셋에서의 점진적 사전 훈련이 자율 주행 기반 보행자 검출 성능 향상에 어느 정도 기여하는가?
• RQ5 교차 데이터셋 평가가 현재 보행자 검출 평가 체계의 근본적인 결함을 드러내는가?

주요 결과

• 최신 보행자 검출기는 자체 훈련 데이터셋에서 뛰어난 성능를 보이지만, 교차 데이터셋 평가에서는 일반화 성능이 떨어진다.
• 보행자 전용 조정 없이도 다양한 대규모 데이터셋에서 훈련된 일반 목적 객체 검출기(Cascade R-CNN)가 전문화된 보행자 검출기보다 뛰어나게 성능을 냈다.
• 웹 크롤링된 데이터셋인 CrowdHuman과 Wider Pedestrian는 보다 높은 보행자 밀도와 시나리오 다양성을 제공하여 더 나은 일반화를 가능하게 했다.
• 점진적 훈련 파이프라인은 도메인 특화 미세조정 없이도 Caltech의 합리적인 부분집합에서 MR⁻²에 대해 3.7%의 상대적 향상을, CityPersons에서는 1.5% 향상을 달성했다.
• 본 연구는 현재 평가 관행이 데이터셋 특화 최적화를 유리하게 작용시키며, 향후 검출기 개발에서 교차 데이터셋 평가를 우선시해야 한다는 점을 드러냈다.