[논문 리뷰] Vehicle Shape and Color Classification Using Convolutional Neural Network

Mohamed Nafzi, Michael Brauckmann외 1명|arXiv (Cornell University)|2019. 05. 15.

Video Surveillance and Tracking Methods참고 문헌 7인용 수 6

한 줄 요약

이 논문은 깊이 학습 기반의 차량 재식별 시스템을 제안하며, 합성곱 신경망(CNN)을 사용하여 동시에 차량 제원(제조사/모델)과 색상 분류를 수행한다. 대규모 반자동으로 레이블링된 데이터셋(1,447종의 차량 모델 및 137개의 제조사)을 활용하여 CPU에서 97.96%의 색상 분류 정확도와 20ms의 추론 시간을 달성하였으며, 제어된 환경과 실제 영상 데이터 모두에서 뛰어난 성능을 보였다.

ABSTRACT

This paper presents a module of vehicle reidentification based on make/model and color classification. It could be used by the Automated Vehicular Surveillance (AVS) or by the fast analysis of video data. Many of problems, that are related to this topic, had to be addressed. In order to facilitate and accelerate the progress in this subject, we will present our way to collect and to label a large scale data set. We used deeper neural networks in our training. They showed a good classification accuracy. We show the results of make/model and color classification on controlled and video data set. We demonstrate with the help of a developed application the re-identification of vehicles on video images based on make/model and color classification. This work was partially funded under the grant.

연구 동기 및 목표

• 실제 영상 감시 환경에서 대규모 차량 제조사/모델 및 색상 분류 문제를 해결한다.
• 기존 연구의 한계를 극복하기 위해 1,447종의 모델과 137개의 제조사를 포함한 훨씬 확장된 데이터셋으로 학습함으로써 보다 넓은 상업적 적용 가능성을 확보한다.
• 희귀하거나 알려지지 않은 차량 모델의 학습을 지원하기 위해 확장 가능한 반자동 데이터 수집 및 레이블링 파이프라인을 개발한다.
• 자동 차량 감시 시스템(AVS)의 실시간 구동을 위해 높은 정확도와 낮은 추론 지연을 달성한다.
• 종합적인 재식별을 통해 저해상도, 부분 가림, 다양한 시점의 영상 데이터에서도 강건한 성능을 입증한다.

제안 방법

• 수렴성과 분류 정확도 향상을 위해 Z-정규화와 ELU 활성화 함수를 적용한 수정된 Inception-Net 아키텍처를 사용하였다.
• 다양한 조명 조건과 영상 품질에 대비해 강건성을 확보하기 위해 10개의 정의된 색상 클래스를 사용한 ResNet 기반 CNN을 색상 분류에 적용하였다.
• 데이터 정제를 가속화하기 위해 반자동으로 레이블링 도구를 활용하였으며, 웹 크롤링을 통해 확보한 이미지에 품질 필터링 및 수동 검증을 통합하였다.
• 일반화 성능 향상을 위해 이미지 흐림 처리 및 크기 축소를 통한 데이터 증강 기법을 적용하였다.
• 다중 클래스 분류를 위해 소프트맥스 출력과 교차 엔트로피 손실를 사용하였으며, 역전파 과정에서 예측 오차를 최소화하였다.
• 기본형 및 수정된 Inception 아키텍처의 두 CNN 예측 결과를 융합하여 고해상도 및 저해상도 데이터 모두에서 강건성을 향상시켰다.

실험 결과

연구 질문

• RQ1 딥 컨볼루션 신경망 기반 시스템이 다양한 시점과 영상 품질에서 차량 제조사 및 모델 분류에 높은 정확도를 달성할 수 있는가?
• RQ2 제어된 데이터셋 대비 저해상도 및 부분 가림이 있는 영상 데이터에서 제조사/모델 분류 성능가 어떻게 저하되는가?
• RQ3 반자동 데이터 파이프라인이 1,447종 이상의 차량 모델과 137개의 제조사를 포함하도록 효과적으로 확장 가능한가?
• RQ4 기존 표준 벤치마크(예: 스탠포드)에서 제안된 색상 분류기의 정확도와 추론 속도는 이전 연구 대비 어떻게 비교되는가?
• RQ5 형태(제조사/모델)와 색상 분류를 동시에 수행할 경우, 실세계 영상 시퀀스에서 신뢰할 수 있는 차량 재식별이 얼마나 잘 이루어지는가?

주요 결과

• 제조사/모델 분류기는 스탠포드 색상 벤치마크에서 97.96%의 정확도를 기록하였으며, 이는 이전 연구(94.47%)를 초월했고, CPU에서 20ms 대비 3.248초의 100배 빠른 속도 향상을 달성하였다.
• 두 CNN 아키텍처의 예측 융합으로 고해상도 데이터에서 잔차 오차가 8% 감소하였고, 저해상도 데이터에서는 14.2% 감소하여 강건성 향상을 입증하였다.
• 단일 CPU 코어(i7-4790)에서 이미지당 20ms의 추론 시간을 확보하여 영상 감시 응용 분야에서 실시간 처리가 가능했다.
• 색상 분류 성능은 조명 변화, 저해상도, 부분 가림 등 다양한 조건에서도 뛰어난 강건성을 유지하였다.
• 실제 영상 시퀀스에서 효과적인 재식별 성능을 보였으며, 다양한 시점과 조건에서도 제조사/모델 및 색상 기반으로 차량을 정확히 매칭하였다.
• 유사한 외형을 가진 모델(예: 르노 클리오와 데시아 로건)의 경우에도 시스템은 높은 정확도를 유지하였으며, 형태와 색상에서의 강력한 특징 학습 능력을 입증하였다.