[논문 리뷰] Vehicle Re-identification: exploring feature fusion using multi-stream convolutional networks

Ícaro Oliveira de Oliveira, Rayson Laroca외 3명|arXiv (Cornell University)|2019. 11. 13.

Vehicle License Plate Recognition인용 수 8

한 줄 요약

이 논문은 저해상도 차량 패치에서의 외관 특징과 고해상도 패치에서 OCR로 추출한 번호판 텍스트를 융합하는 이중 스트림 CNN을 제안한다. 형태 유사성 검출을 위한 시아모이스 네트워크와 텍스트 신뢰도 및 문자 일치 검사를 위한 CNN 기반 OCR를 결합함으로써, 3,000개 이상의 영상 클립에 걸쳐 3,000대가 넘는 차량으로 구성된 새로운 데이터셋에서 99.6% 정밀도, 99.2% 재현율, 99.4% F-스코어를 달성한다.

ABSTRACT

This work addresses the problem of vehicle re-identification through a network of non-overlapping cameras. As our main contribution, we propose a novel two-stream convolutional neural network (CNN) that simultaneously uses two of the most distinctive and persistent features available: the vehicle appearance and its license plate. This is an attempt to tackle a major problem, false alarms caused by vehicles with similar design or by very close license plate identifiers. In the first network stream, shape similarities are identified by a Siamese CNN that uses a pair of low-resolution vehicle patches recorded by two different cameras. In the second stream, we use a CNN for optical character recognition (OCR) to extract textual information, confidence scores, and string similarities from a pair of high-resolution license plate patches. Then, features from both streams are merged by a sequence of fully connected layers for decision. As part of this work, we created an important dataset for vehicle re-identification with more than three hours of videos spanning almost 3,000 vehicles. In our experiments, we achieved a precision, recall and F -score values of 99.6%, 99.2% and 99.4%, respectively. As another contribution, we discuss and compare three alternative architectures that explore the same features but using additional streams and temporal information. The proposed architectures, trained models, and dataset are publicly available at this https URL .

연구 동기 및 목표

• 유사한 차량 디자인이나 거의 동일한 번호판으로 인한 잘못된 경고를 해결하기 위해.
• 딥러닝을 활용해 시각적 외관과 텍스트 기반 번호판 정보를 융합하여 재식별 정확도를 향상시키기 위해.
• 3시간이 넘는 영상과 거의 3,000대의 고유한 차량을 포함한 대규모 공개 데이터셋을 구축하기 위해.
• 시간 정보와 추가 특징 스트림을 통합한 다양한 아키텍처를 평가하고 비교하기 위해.

제안 방법

• 시아모이스 CNN은 서로 다른 카메라에서 확보한 저해상도 차량 패치를 처리하여 형태 유사성을 탐지한다.
• 별도의 CNN은 고해상도 번호판 패치에서 광학 문자 인식(OCR)을 수행하여 텍스트 특징과 신뢰도 점수를 추출한다.
• 양 스트림의 특징를 연결하여 완전히 연결된 층을 거쳐 최종 분류를 수행한다.
• 구분 능력 향상을 위해 임베딩 특징 학습을 강화하기 위해 트리플릿 손실 또는 유사한 메트릭 학습 목적함수를 사용해 네트워크를 엔드 투 엔드로 훈련시킨다.
• 시간 정보와 추가 스트림을 통합한 세 가지 대안 아키텍처를 탐색하여 정확도 향상에 기여한다.
• 3,000대 이상의 차량과 3시간 분량의 영상이 포함된 새로운 데이터셋을 수집하고 공개하여 향후 연구를 지원한다.

실험 결과

연구 질문

• RQ1 차량 외관과 번호판 텍스트의 공동 학습이 단일 모odal(모달)을 사용하는 것보다 재식별 정확도를 향상시키는가?
• RQ2 형태에 대한 시아모이스 CNN 스트림과 텍스트에 대한 CNN-OCR 스트림 간의 특징 융합이 도전적인 재식별 케이스에서 성능에 어떤 영향을 미치는가?
• RQ3 시간 모델링과 추가 스트림이 재식별의 견고성 향상에 기여하는 정도는 어떠한가?
• RQ4 OCR에서 도출된 신뢰도 점수와 문자 일치도 측정값이 최종 의사결정 과정에 어떤 영향을 미치는가?
• RQ5 제안된 아키텍처가 대규모 실생활 차량 재식별 벤치마크에서 기준 모델을 얼마나 뛰어넘는가?

주요 결과

• 제안된 이중 스트림 CNN은 새로운 데이터셋에서 정밀도 99.6%, 재현율 99.2%, F-스코어 99.4%를 달성했다.
• 외관과 번호판 특징의 융합은 외관이 유사한 차량이나 거의 동일한 번호판으로 인한 거짓 양성 결과를 크게 감소시켰다.
• OCR 신뢰도 점수의 통합은 노이즈가 많거나 품질이 낮은 이미지에서 텍스트 특징 일치의 신뢰성을 향상시켰다.
• 성능이 가장 뛰어난 아키텍처는 시간 정보와 추가 스트림을 통합하여 단순한 이중 스트림 기반 모델을 능가했다.
• 3,000대 이상의 차량과 3시간 분량의 영상이 포함된 새로 구축된 데이터셋은 향후 차량 재식별 연구를 위한 견고한 벤치마크를 제공한다.
• 모든 모델, 코드, 데이터셋은 재현성 및 향후 개발을 지원하기 위해 공개되어 있다.