[논문 리뷰] Scale Optimization for Full-Image-CNN Vehicle Detection

Yang Gao, Shouyan Guo외 6명|arXiv (Cornell University)|2018. 02. 20.

Advanced Neural Network Applications참고 문헌 19인용 수 3

한 줄 요약

이 논문은 KITTI 벤치마크에서 전체 이미지 기반 CNN 기반 차량 검출을 위해 Faster R-CNN에 스케일 최적화된 수정 사항을 제안하며, 맞춤형 앵커 박스 선택과 다중 수준 특징 병합을 통해 성능을 향상시킨다. 영역 제안 스케일을 차량 크기의 자연스러운 분포와 일치시킴으로써, 얕은 레이어의 특징을 통합함으로써 평균 정밀도 평균값(mAP)을 KITTI 차량 검출 작업에서 76.3%에서 83.6%로 향상시킨다.

ABSTRACT

Many state-of-the-art general object detection methods make use of shared full-image convolutional features (as in Faster R-CNN). This achieves a reasonable test-phase computation time while enjoys the discriminative power provided by large Convolutional Neural Network (CNN) models. Such designs excel on benchmarks which contain natural images but which have very unnatural distributions, i.e. they have an unnaturally high-frequency of the target classes and a bias towards a "friendly" or "dominant" object scale. In this paper we present further study of the use and adaptation of the Faster R-CNN object detection method for datasets presenting natural scale distribution and unbiased real-world object frequency. In particular, we show that better alignment of the detector scale sensitivity to the extant distribution improves vehicle detection performance. We do this by modifying both the selection of Region Proposals, and through using more scale-appropriate full-image convolution features within the CNN model. By selecting better scales in the region proposal input and by combining feature maps through careful design of the convolutional neural network, we improve performance on smaller objects. We significantly increase detection AP for the KITTI dataset car class from 76.3% on our baseline Faster R-CNN detector to 83.6% in our improved detector.

연구 동기 및 목표

• 실제 데이터셋에서 자연스러운 스케일 분포를 보이는 KITTI와 같은 실세계 데이터셋에 일반 객체 검출기인 Faster R-CNN를 적용할 때 발생하는 성능 격차를 해결한다.
• 표준 벤치마크에서 부족하게 표현되지만 실제 주행 시나리오에서 흔한 소형 및 원거리 차량의 검출 정확도를 향상시킨다.
• 실제 KITTI 내 스케일 분포와 일치하도록 영역 제안 생성 및 특징 추출을 재설계하여 검출기의 스케일 민감도를 최적화한다.
• CNN 기반 검출기를 도메인에 자연스럽게 맞는 스케일 분포에 적응시킴으로써 실세계 차량 검출 작업에서의 성능 향상이 크게 이루어진다는 것을 입증한다.

제안 방법

• KITTI 데이터셋 내 차량의 자연스러운 스케일 분포와 더 잘 일치하도록 영역 제안 네트워크(RPN)의 앵커 박스 스케일을 재설계하여, 특히 소형 객체 스케일에 유리하도록 한다.
• 다양한 합성곱 레이어(예: 4번째 및 5번째 레이어)의 특징 맵을 통합하여 소형 차량에 특히 유리한 다중 스케일 특징 표현을 향상시킨다.
• 기울기 흐름 향상과 특징 다양성 향상을 위해 잔차 블록 아키텍처를 활용하여 저수준 고해상도 특징으로부터의 학습을 개선한다.
• 1×1, 3×3, 5×5 합성곱 커널을 사용한 다중 스케일 제안을 통합하여 다양한 스케일에서의 특징 표현을 풍부하게 한다.
• 얕은 레이어와 깊은 레이어의 특징을 융합하는 하이브리드 네트워크 아키텍처를 설계하여 모든 객체 스케일에서의 검출 민감도를 향상시킨다.
• 모델을 엔드 투 엔드로 훈련시키며, 수렴성과 KITTI 벤치마크에서의 강건성을 확보하기 위해 주의 깊은 초기화 및 최적화를 수행한다.

실험 결과

연구 질문

• RQ1 표준 Faster R-CNN의 성능은 KITTI 데이터셋 내 다양한 객체 스케일, 특히 소형 및 원거리 차량에서 어떻게 변화하는가?
• RQ2 앵커 박스 스케일 선택을 개선함으로써 실세계 주행 환경에서 소규모 차량의 검출 정확도를 얼마나 향상시킬 수 있는가?
• RQ3 다양한 합성곱 레이어의 특징 맵을 통합함으로써 계산 비용을 증가시키지 않고도 소형 객체의 검출 성능을 향상시킬 수 있는가?
• RQ4 잔차 연결 및 다중 스케일 합성곱 커널의 포함이 KITTI 벤치마크에서 특징 표현과 검출 mAP에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 KITTI 차량 검출 벤치마크에서 기준 Faster R-CNN의 mAP를 76.3%에서 83.6%로 크게 향상시켰다.
• 성능 향상의 대부분는 소형 차량에서 발생하였으며, 저스케일 범주에서 검출 정확도가 크게 향상되었다.
• 1×1, 3×3, 5×5 커널을 사용한 다중 스케일 제안은 10,000회 반복 후 초기 검출 성능을 64.0%에서 66.3%로 향상시켰지만, 최종 수렴 수준은 기준보다 약간 높을 뿐이었다.
• 최적화된 앵커 박스와 다중 수준 특징 융합의 조합이 가장 높은 mAP를 기록하여 스케일 및 특징 엔지니어링의 통합적 효과를 입증했다.
• 잔차 블록 통합으로 성능이 0.6% 향상되었고 수렴 속도가 빨라져 기울기 흐름 향상과 특징 다양성 향상의 효과를 확인했다.
• 모델의 정밀도-재현율 곡선은 소형 객체 영역에서 뚜렷한 향상을 보이며, 저스케일 차량에 대한 민감도 향상이 확인되었다.