[논문 리뷰] View Independent Vehicle Make, Model and Color Recognition Using Convolutional Neural Network

Afshin Dehghan, Syed Zain Masood외 2명|arXiv (Cornell University)|2017. 02. 06.

Advanced Neural Network Applications참고 문헌 12인용 수 23

한 줄 요약

이 논문은 300만 장이 넘는 이미지로 구성된 대규모 데이터셋을 기반으로 훈련된 딥 컨volution 네트워크를 사용하여 시야에 영향을 받지 않는 차량 제조사, 모델, 색상 인식 시스템을 제시한다. 이 시스템은 Stanford Cars 및 compCar와 같은 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하며, 각각 93.6% 및 95.88%의 정확도를 기록했고, 반복적 데이터 파이프라인과 강력한 이미지 정렬 기법을 활용해 실시간 추론(150 fps)을 유지한다.

ABSTRACT

This paper describes the details of Sighthound's fully automated vehicle make, model and color recognition system. The backbone of our system is a deep convolutional neural network that is not only computationally inexpensive, but also provides state-of-the-art results on several competitive benchmarks. Additionally, our deep network is trained on a large dataset of several million images which are labeled through a semi-automated process. Finally we test our system on several public datasets as well as our own internal test dataset. Our results show that we outperform other methods on all benchmarks by significant margins. Our model is available to developers through the Sighthound Cloud API at https://www.sighthound.com/products/cloud

연구 동기 및 목표

• 세부적인 차량 제조사, 모델, 색상 인식을 위한 완전 자동화된 시야에 영향을 받지 않는 시스템을 개발하는 것.
• 딥 러닝을 활용해 차량 클래스 간 미세한 시각적 차이(예: BMW 3시리즈 대비 5시리즈)를 다루는 것.
• 작은 데이터셋 또는 높은 계산 비용으로 인해 기존 방법의 한계를 극복하는 것.
• 훈련을 위한 반자동 레이블링을 활용한 대규모 고품질 데이터셋을 구축하는 것.
• 법집행, 감시 및 교통 모니터링 응용 분야에서 실시간 정확한 차량 인식을 가능하게 하는 것.

제안 방법

• 시스템은 3단계 파이프라인을 사용한다: 데이터 수집, 데이터 전처리, 딥 훈련.
• 다양한 출처에서 500만 장 이상의 이미지를 수집하고, 인간이 참여하는 반자동 프로세스를 통해 필터링하였다.
• 차량 검출을 위해 Sighthound의 클라우드 API를 사용하여 차량을 국소화하고 정렬함으로써 배경 간섭을 줄였다.
• 경계 상자 주변에 10%의 여유 공간을 적용하여 정확도가 떨어지는 검출을 보완하였다.
• 색상 인식을 위해 타원형 마스크를 적용하여 차량 본체를 분리하고 배경 영향을 최소화하였다.
• 분류 정확도와 추론 비용을 최적화하기 위해 제조사/모델 분류용, 색상 분류용으로 별도의 두 개의 딥 신경망을 훈련시켰다.

실험 결과

연구 질문

• RQ1 반자동으로 레이블링된 대규모 데이터셋을 기반으로 훈련된 딥 컨volution 네트워크가 시야에 영향을 받지 않는 차량 제조사, 모델, 색상 인식에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 제안된 시스템은 기존 방법과 비교해 공개 벤치마크인 Stanford Cars 및 compCar에서 어떻게 성능을 내는가?
• RQ3 데이터 정렬 및 배경 억제 기법이 다양한 시야 각도와 조건에서 인식 정확도에 얼마나 기여하는가?
• RQ4 다양한 실제 이미지에서 높은 정확도를 유지하면서도 실시간 추론(예: 150 fps)을 달성할 수 있는가?
• RQ5 공개 데이터셋에서의 미세조정이 성능에 미치는 영향은 어떠한가? 특히 원래 훈련 데이터에 연식과 같은 시간적 변동이 포함되어 있지 않은 경우에 대해.

주요 결과

• Stanford Cars 데이터셋에서 시스템은 93.6%의 정확도를 기록했으며, 이는 Krause 등(92.8%)과 Lin 등(91.3%)의 이전 방법을 뛰어넘었다.
• compCar 데이터셋에서 모델은 95.88%의 정확도를 기록했고, 99.53%의 top-5 정확도를 달성했으며, GoogLeNet(91.2% top-1)에 비해 4.68% 포인트 높은 성능을 보였다.
• 미세조정 없이도 compCar 검증 벤치마크의 쉬운, 중간, 어려운 세트에서 각각 92.03%, 86.52%, 80.17%의 검증 정확도를 기록했다.
• 모델은 고각도 감시 영상 및 개인 촬영 사진을 포함한 다양한 실제 환경에서 뛰어난 강인성을 보였다.
• 배치 처리 모드에서 실시간 추론(150 fps)을 달성하여, 높은 정확도를 유지하면서도 뛰어난 계산 효율성을 입증했다.
• 반자동 레이블링 파이프라인을 활용해 300만 장 이상의 레이블링된 이미지를 포함한 대규모 데이터셋을 구축했으며, 일부 이미지에는 색상 레이블도 포함되었다.