[논문 리뷰] How Far are We from Solving Pedestrian Detection?

Shanshan Zhang, Rodrigo Benenson외 3명|arXiv (Cornell University)|2016. 02. 03.

Advanced Neural Network Applications참고 문헌 24인용 수 84

한 줄 요약

이 논문은 Caltech 보행자 검출 벤치마크에서 최신 기술 수준의 보행자 검출기와 인간 수준의 성능 간 격차를 조사한다. 인간 기준선과 정제된 애너테이션 세트를 도입함으로써, 저자들은 국소화 오류와 배경/전경 혼동을 주요 실패 유형으로 규명하고, 향상된 훈련 데이터 품질과 경계 상자 회귀를 갖춘 컨volutional 네트워크가 오류를 크게 감소시켜 최상의 성능을 달성하고 인간 수준 검출에 10배의 격차를 줄였음을 보여준다.

ABSTRACT

Encouraged by the recent progress in pedestrian detection, we investigate the gap between current state-of-the-art methods and the "perfect single frame detector". We enable our analysis by creating a human baseline for pedestrian detection (over the Caltech dataset), and by manually clustering the recurrent errors of a top detector. Our results characterize both localization and background-versus-foreground errors. To address localization errors we study the impact of training annotation noise on the detector performance, and show that we can improve even with a small portion of sanitized training data. To address background/foreground discrimination, we study convnets for pedestrian detection, and discuss which factors affect their performance. Other than our in-depth analysis, we report top performance on the Caltech dataset, and provide a new sanitized set of training and test annotations.

연구 동기 및 목표

• 최신 기술 수준의 보행자 검출기와 Caltech 벤치마크에서 인간 수준의 검출 간 성능 격차를 정량화하는 것.
• 특히 국소화 오류와 배경/전경 오분류를 포함한 최고 성능 검출기의 주요 실패 유형을 규명하고 특성화하는 것.
• 수동 및 알고리즘 기반 애너테이션 정제를 통한 훈련 데이터 품질 향상으로 검출기 성능 향상에 기여하는 것.
• 딥 컨volution 네트워크(예: VGG)와 경계 상자 회귀가 거짓 양성 및 국소화 정확도 향상에 얼마나 효과적인지 평가하는 것.
• 향후 벤치마크 및 연구 재현 가능성을 위해 새로운 고품질 정제된 Caltech 훈련 및 테스트 세트 애너테이션을 제공하는 것.

제안 방법

• 수동 애너테이터가 경계 상자를 레이블링하여 Caltech 데이터셋에서 보행자 검출에 대한 인간 기준선을 수립함으로써 검출기 성능의 하한선을 제공한다.
• 정렬 오류와 레이블 노이즈를 줄이기 위해 훈련 및 테스트 세트 애너테이션을 수동으로 정제하고, 새로운 고품질 참값 세트를 구축한다.
• 회전 필터 기반 최고 성능 검출기(RotatedFilters)에 대한 실패 분석을 수행하여 블러, 가림, 국소화 문제 등 반복적인 오류 유형을 클러스터링한다.
• 성능 평가 지표를 더 낮은 거짓 양성 수당 이미지(FPPI) 범위로 확장하여 정제된 애너테이션 품질의 영향을 평가하며, 더 민감한 평가를 위해 $\mathrm{MR}_{-4}^{N}$ 도 포함한다.
• VGG 기반 컨volution 네트워크를 검출 파이프라인에 통합하고, 비최대 억제(NMS)를 적용한 경계 상자 회귀를 통해 국소화 정밀도를 향상시키고 스코어 맵의 흐림 현상을 감소시킨다.
• 오라클 실험과 아블레이션 연구를 수행하여 데이터 품질, 모델 아키텍처, 후처리 기법이 전체 성능 향상에 기여하는 정도를 분리 분석한다.

실험 결과

연구 질문

• RQ1 현재 최신 기술 수준의 보행자 검출기와 Caltech 벤치마크에서 인간 수준의 성능 간 격차는 어느 정도인가?
• RQ2 최고 성능 검출기에서 주요 실패 유형은 무엇이며, 국소화 오류와 배경/전경 혼동 간에는 어떤 차이가 있는가?
• RQ3 수동 정제와 알고리즘 보정을 통한 훈련 애너테이션 품질 향상이 검출기 오류를 어느 정도 감소시킬 수 있는가?
• RQ4 기존 검출기 대비 딥 컨volution 네트워크(예: VGG)는 보행자 검출에서 배경 대비 전경 식별에 얼마나 효과적인가?
• RQ5 경계 상자 회귀와 다단계 NMS는 AlexNet 및 VGG와 같은 모델의 깊은 특징 맵에서 내재된 국소화 부정확성을 효과적으로 완화할 수 있는가?

주요 결과

• 최고의 검출기와 인간 기준선 간 성능 격차는 95% 재현율에서 약 10배로, 향상 여건이 여전히 크다는 것을 시사한다.
• 국소화 오류는 특히 진짜 양성 주변 영역에서 고신뢰도 거짓 양성의 상당 부분을 차지한다.
• 수동 정제를 통한 훈련 애너테이션 정렬 개선으로 $\mathrm{MR}_{-2}^{N}$ 이 19.20에서 12.96으로, $\mathrm{MR}_{-4}^{N}$ 이 34.28에서 22.20으로 감소하여 데이터 품질이 미치는 영향이 크다는 것을 입증한다.
• VGG 기반 검출기는 배경 거짓 양성을 크게 감소시켰지만 국소화 오류는 약간 악화시켜, 식별력과 정밀도 사이의 상충 관계를 보여준다.
• 경계 상자 회귀와 두 번째 NMS 라운드 적용으로 $\mathrm{MR}_{-2}^{N}$ 이 10.00으로, $\mathrm{MR}_{-4}^{N}$ 이 20.77로 감소하여, 깊은 네트워크 스코어 맵의 흐림 현상을 완화하기 위해 후처리가 필수적임을 보여준다.
• 최종 검출기인 RotatedFilters-New10×+VGG에 회귀 및 NMS를 적용한 결과, 기존 방법을 모두 능가하는 최신 기술 수준의 성능을 달성하여 Caltech 벤치마크에서 최고 성능을 기록했다.