[논문 리뷰] CityPersons: A Diverse Dataset for Pedestrian Detection

Shanshan Zhang, Rodrigo Benenson외 1명|arXiv (Cornell University)|2017. 02. 19.

Video Surveillance and Tracking Methods참고 문헌 28인용 수 68

한 줄 요약

CityPersons는 Cityscapes 기반의 보행자 주석의 고품질을 추가하여 단일 CNN이 여러 벤치마크에 걸쳐 일반화하게 하고 FasterRCNN 성능을 개선하며, 특히 작고 가려진 보행자에 대해 이점을 주고, 시맨틱 레이블은 초기 이점을 보여준다.

ABSTRACT

Convnets have enabled significant progress in pedestrian detection recently, but there are still open questions regarding suitable architectures and training data. We revisit CNN design and point out key adaptations, enabling plain FasterRCNN to obtain state-of-the-art results on the Caltech dataset. To achieve further improvement from more and better data, we introduce CityPersons, a new set of person annotations on top of the Cityscapes dataset. The diversity of CityPersons allows us for the first time to train one single CNN model that generalizes well over multiple benchmarks. Moreover, with additional training with CityPersons, we obtain top results using FasterRCNN on Caltech, improving especially for more difficult cases (heavy occlusion and small scale) and providing higher localization quality.

연구 동기 및 목표

• Cityscapes에서 보행자를 위한 고품질 경계 상자 주석으로 CityPersons를 도입한다.
• 적절히 수정된 FasterRCNN이 최첨단 성능을 달성하고 CityPersons 사전 학습으로 이점을 얻음을 보여준다.
• Caltech, KITTI, CityPersons 벤치마크 간의 교차 데이터셋 일반화 향상을 보여준다.
• 특히 작은 보행자에 대한 탐지를 개선하기 위해 Cityscapes 시맨틱 라벨 활용을 탐구한다.

제안 방법

• 타깃 아키텍처 및 학습 조정을 통해 보행자 탐제를 위한 FasterRCNN을 적응시킨다.
• Caltech에서 작은 규모와 가려진 보행자를 더 잘 다루기 위한 여섯 가지 강화(M1–M5)를 개발한다.
• Cityscapes의 5,000개 정밀 주석 이미지에 보행자에 대한 암오달(amodal), 정렬된 경계 상자를 추가하여 CityPersons를 만들고, 무시 영역도 주석 처리한다.
• 일반화를 향상시키기 위해 다양한 도시, 계절의 고가려짐이 많은 데이터를 제공한다.
• CityPersons와 Caltech에서 ACF, Checkerboards, FasterRCNN를 비교하는 베이스라인 실험을 수행하고 데이터 양의 효과를 분석한다.
• CityPersons, Caltech 또는 KITTI에서 학습하고 여섯 벤치마크에서 테스트하여 교차 데이터셋 일반화를 평가하고 사전 학습의 이점을 분석한다.

실험 결과

연구 질문

• RQ1 CityPersons가 Caltech나 KITTI 단독보다 여러 데이터셋에 걸쳐 탐지 모델을 더 잘 일반화할 수 있는가?
• RQ2 CityPersons에서의 사전 학습이 Caltech, KITTI와 같은 다른 벤치마크의 성능을 개선하는가, 특히 어려운 사례에서?
• RQ3 작은 스케일의 보행자에 특히 어떤 영향을 CityPersons 시맨틱 라벨이 보행자 탐지에 미치는가?
• RQ4 CityPersons가 벤치마크 간 탐지의 위치 정확도와 정렬에 얼마나 도움을 주는가?

주요 결과

• CityPersons를 사용하면 단일 CNN이 Caltech이나 KITTI만으로 학습된 모델에 비해 여섯 벤치마크에서 더 잘 일반화한다.
• 교차 데이터셋 사전 학습은 Caltech 결과를 개선하며, 특히 소규모 및 심하게 가려진 보행자에서 이점을 주고 더 나은 로컬라이제이션(IoU=0.75) 이득을 얻는다.
• CityPersons 사전 학습은 KITTI에서 측정 가능한 이점을 제공하며, 특히 작은 스케일 탐지에서 더 큰 개선을 보인다.
• CityPersons 데이터를 사용한 사전 학습은 Caltech에서 전체 성능을 약 1% 포인트(MR^O) 향상시키고, MR^O에서 심한 가려짐의 경우 최대 약 8.6% 포인트까지 향상시키며, IoU 임계값이 높아질수록 더 큰 개선(예: MR^N, IoU 0.75: +4.8)을 보인다.
• Cityscapes에서 파생된 시맨틱 채널을 사용할 때 작은 인물 탐지가 가장 큰 이점을 얻지만, 전반적인 이점은 다소 미미하다(합리적 부분에서 약 0.6 MR).
• CityPersons의 베이스라인 FasterRCNN은 데이터셋이 Caltech보다 더 도전적임을 보여주지만, 테스트된 탐지기 중에서 FasterRCNN이 여전히 가장 강한 베이스라인이다.