[논문 리뷰] Taking a Deeper Look at Pedestrians

Jan Hosang, Mohamed Omran외 2명|arXiv (Cornell University)|2015. 01. 23.

Video Surveillance and Tracking Methods인용 수 54

한 줄 요약

이 논문은 특수한 아키텍처적 수정(예: 부위 또는 가림 모델링) 없이도 일반적인 합성곱 신경망(CNN)이 Caltech 및 KITTI 데이터셋에서 최신 기술 수준의 보행자 검출 성능을 달성할 수 있음을 보여준다. RGB 입력과 표준 학습 프로토콜만을 사용하여, 소형(CifarNet) 및 대형(AlexNet)의 표준 CNN 모델이 이전의 CNN 기반 검출기들을 능가하고, 광학 흐름 또는 수작업 특징을 사용한 방법들과 동등하거나 이를 초월한다.

ABSTRACT

In this paper we study the use of convolutional neural networks (convnets) for the task of pedestrian detection. Despite their recent diverse successes, convnets historically underperform compared to other pedestrian detectors. We deliberately omit explicitly modelling the problem into the network (e.g. parts or occlusion modelling) and show that we can reach competitive performance without bells and whistles. In a wide range of experiments we analyse small and big convnets, their architectural choices, parameters, and the influence of different training data, including pre-training on surrogate tasks. We present the best convnet detectors on the Caltech and KITTI dataset. On Caltech our convnets reach top performance both for the Caltech1x and Caltech10x training setup. Using additional data at training time our strongest convnet model is competitive even to detectors that use additional data (optical flow) at test time.

연구 동기 및 목표

• 표준적이고 수정되지 않은 합성곱 신경망(CNN)이 부위나 가림을 명시적으로 모델링하지 않더라도 보행자 검출에서 경쟁 가능한 성능을 낼 수 있는지 조사하는 것.
• 네트워크 깊이, 넓이, 학습 데이터 크기의 변화가 보행자 검출 정확도에 미치는 영향을 평가하는 것.
• 제한된 레이블이 있는 데이터에서 사전 학습(예: ImageNet)이 보행자 검출 성능에 미치는 영향을 규명하는 것.
• CNN 기반 검출 파이프라인에서 다양한 제안 방법과 입력 표현 방식(예: RGB 대 수작업 특징)의 효과를 비교하는 것.
• 표준 학습 데이터와 테스트 시 보조 입력 없이도 Caltech 및 KITTI 벤치마크에서 CNN 기반 보행자 검출기의 새로운 최신 기술 수준을 확립하는 것.

제안 방법

• RGB 이미지만을 입력으로 사용하여 소형(CifarNet) 및 대형(AlexNet)의 표준 CNN 모델을 보행자 검출을 위해 학습하는 것.
• Caltech 및 KITTI 테스트 세트에서 표준 검출 지표(로그 평균 누락률)를 사용하여 성능을 평가하는 것.
• ImageNet에서 사전 학습한 후 Caltech에서 미세 조정하여 일반화 능력을 향상시키기 위해 전이 학습을 적용하는 것.
• 선택적 검색과 HOG+CSS 기반 제안 방법을 사용하여 CNN 점수 평가를 위한 후보 검출 창을 생성하는 것.
• 다양한 네트워크 아키텍처, 학습 데이터 제도(Caltech1x 및 Caltech10x), 입력 유형(RGB, YUV, HOG 등) 간의 성능을 비교하는 것.
• 데이터 증강, 학습률 스케줄링, 배치 정규화와 같은 표준 학습 기법을 적용하여 성능 최적화를 하는 것.

실험 결과

연구 질문

• RQ1 부위나 가림을 명시적으로 모델링하지 않은 표준적이고 특수화되지 않은 CNN 모델이 보행자 검출에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 학습 데이터가 제한된 상황에서 네트워크 용량(CifarNet 대 AlexNet)의 변화가 성능에 어떤 영향을 미치는가?
• RQ3 ImageNet에서의 사전 학습이 Caltech 데이터셋에서의 검출 정확도에 얼마나 기여하는가?
• RQ4 HOG나 기울기와 같은 수작업 특징을 사용하는 것과 비교해 RGB 입력만을 사용할 경우 성능이 더 좋거나 나쁜가?
• RQ5 CNN와 함께 사용할 때, 선택적 검색과 HOG+CSS와 같은 다양한 제안 방법이 최종 검출 성능에 어떤 영향을 미치는가?

주요 결과

• CifarNet 모델은 Caltech10x 테스트 세트에서 28.4%의 로그 평균 누락률을 기록하여, 동일한 데이터로 학습된 이전에 발표된 모든 CNN 기반 검출기들을 능가한다.
• AlexNet 모델은 Caltech10x에서 27.5%의 누락률을 기록하고 Caltech1x에서는 32.4%를 기록하여, 둘 다 이전의 모든 CNN 기반 방법들을 능가한다.
• ImageNet에서의 사전 학습 없이도 AlexNet은 경쟁 가능한 성능(32.4% MR, Caltech1x)을 기록하여, 최소한의 아키텍처 수정만으로도 강력한 결과를 낼 수 있음을 보여준다.
• ImageNet에서의 사전 학습은 성능을 크게 향상시키며, 광학 흐름 데이터를 사용하지 않은 상태에서도 테스트 시 광학 흐름을 활용한 방법들과 동등하거나 이를 초월하는 성능을 달성한다.
• 이 연구는 CNN과 전통적 방법(예: 결정 트리 포레스트) 간의 성능 격차가 본질적인 것이 아니며, 적절한 학습과 데이터로는 표준 CNN 모델이 이 격차를 메울 수 있음을 보여준다.
• 입력 유형(RGB 대 HOG+기울기)의 선택이 성능에 상당한 영향을 미치지만, RGB만으로도 양호한 성능을 달성할 수 있음을 보여주며, 수작업 특징이 필수적이라는 개념을 도전한다.