[논문 리뷰] Pushing the Limits of Deep CNNs for Pedestrian Detection

Qichang Hu, Peng Wang외 3명|arXiv (Cornell University)|2016. 03. 15.

Advanced Neural Network Applications참고 문헌 39인용 수 4

한 줄 요약

이 논문은 복잡한 맞춤형 학습 아키텍처나 광범위한 수작업 특징 추출을 필요로 하지 않으면서도, 캘리포니아 공과대학교 보행자 데이터셋에서 상태최고 수준의 성능을 달성하는 간단하지만 매우 효과적인 보행자 검출 프레임워크를 제안한다. 이는 최적화된 VGG-16 네트워크의 합성곱 특징 맵(CFMs)을 부스팅된 결정수림에 입력으로 재사용함으로써 달성되며, 로그 평균 누락률(log-average miss rate)이 8.93%로 기존 최고 성능인 11.75% 대비 24% 상대적 향상률을 기록한다.

ABSTRACT

Compared to other applications in computer vision, convolutional neural networks have under-performed on pedestrian detection. A breakthrough was made very recently by using sophisticated deep CNN models, with a number of hand-crafted features, or explicit occlusion handling mechanism. In this work, we show that by re-using the convolutional feature maps (CFMs) of a deep convolutional neural network (DCNN) model as image features to train an ensemble of boosted decision models, we are able to achieve the best reported accuracy without using specially designed learning algorithms. We empirically identify and disclose important implementation details. We also show that pixel labelling may be simply combined with a detector to boost the detection performance. By adding complementary hand-crafted features such as optical flow, the DCNN based detector can be further improved. We set a new record on the Caltech pedestrian dataset, lowering the log-average miss rate from $11.7\%$ to $8.9\%$, a relative improvement of $24\%$. We also achieve a comparable result to the state-of-the-art approaches on the KITTI dataset.

연구 동기 및 목표

• 복잡한 딥 컨볼루션 네트워크 아키텍처가 상태최고 수준의 보행자 검출 성능을 내기 위해 필수적인가를 조사하는 것.
• 사전 훈련 및 최적화된 깊은 네트워크에서 유도된 합성곱 특징 맵(CFMs)을 전통적인 기계학습 검출기의 입력 특징으로 재사용하는 것의 효과를 평가하는 것.
• 다중층 CFM 융합 및 픽셀 수준의 의미적 레이블링 통합이 성능 향상에 미치는 영향을 탐색하는 것.
• CFM 기반의 단순한 앙상블 기반 모델이 맞춤형 학습 프레임워크 없이도 고도로 발전된 DCNN 기반 검출기보다 뛰어난 성능을 낼 수 있음을 보여주는 것.

제안 방법

• 보행자 검출에 적합한 깊은 특징을 적응시키기 위해 캘리포니아 공과대학교 보행자 데이터셋에서 VGG-16 모델을 최적화하는 것.
• 최적화된 VGG-16의 특정 합성곱 레이어(예: Conv3-3, Conv4-3, Conv5-3)에서 유도된 CFMs를 이미지 수준의 특징으로 추출하는 것.
• 이 CFM 특징에 대해 부스팅된 결정수림(XGBoost 또는 유사 알고리즘 등)을 훈련시어 강력한 베이스라인 검출기를 구성하는 것.
• 여러 CFM 기반 검출기를 점수 평균화 방식으로 융합하여 앙상블 모델을 구성하는 것.
• 검출 점수에 의미적 세그멘테이션 점수를 통합하여 국소화 정확도와 내성 강도를 향상시키는 것.
• 성능 향상을 위해 CFM 기반 검출기에 수작업 특징(예: 옵티컬 플로우)을 추가로 보완하는 것.

실험 결과

연구 질문

• RQ1 복잡한 맞춤형 DCNN 특징 재사용 전략이 복잡한 최신 DCNN 기반 보행자 검출기보다 뛰어난 성능을 낼 수 있는가?
• RQ2 최적화된 VGG-16에서 유도된 개별 및 다중층 합성곱 특징 맵(CFMs)은 보행자 검출에 얼마나 효과적인가?
• RQ3 픽셀 수준의 의미적 레이블링은 CFM 기반 보행자 검출기의 성능 향상에 어느 정도 기여하는가?
• RQ4 CFM과 옵티컬 플로우와 같은 수작업 특징을 융합하면 성능 향상이 상당히 이루어지는가?
• RQ5 CFM 기반의 경량 앙상블 트리 모델이 엔드 투 엔드 훈련이나 복잡한 아키텍처 없이도 SOTA 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 캘리포니아 공과대학교 보행자 데이터셋에서 새로운 SOTA 로그 평균 누락률 8.93%를 달성하였으며, 이는 이전 최고 성능인 11.75% 대비 24% 상대적 향상률을 기록한다.
• 최적화된 VGG-16의 Conv3-3 레이어에서 유도된 CFM만을 사용하여도 13.49%의 누락률을 기록하였으며, 이는 복잡한 DCNN 아키텍처를 제외한 모든 이전 방법보다 뛰어난 성능이다.
• 세 레이어(Co3-3, Conv4-3, Conv5-3)의 CFM 융합은 성능을 10.46%의 누락률로 향상시켜 다층적 특징 표현의 이점을 입증한다.
• 검출 점수에 픽셀 수준의 의미적 레이블링 점수를 추가함으로써 누락률이 9.53%로 추가로 감소하였으며, 이는 의미적 세그멘테이션 신호의 상호보완적 성질을 보여준다.
• CFM, 픽셀 레이블링, 수작업 특징(예: 옵티컬 플로우)을 모두 통합한 All-in-one 모델은 8.93%의 최고 성능를 기록하였으며, 캘리포니아 공과대학교에서 CompACT-Deep 및 DeepParts를 모두 뛰어넘었다.
• KITTI 데이터셋에서 빠른 앙상블 모델은 Moderate 세트에서 63.26%의 AP를 기록하였으며, 모든 단안 기반 방법보다 뛰어나고, CompACT-Deep 및 DeepParts를 4.5% 이상 초월하였다.