[논문 리뷰] Traffic Signs Detection and Recognition System using Deep Learning

Pavly Salah Zaki, Marco Magdy William외 4명|arXiv (Cornell University)|2020. 03. 06.

Advanced Neural Network Applications참고 문헌 12인용 수 10

한 줄 요약

이 논문은 GTSDB 데이터셋을 사용하여 전이 학습을 활용한 깊이 신경망을 이용한 실시간 교통 표지 검출 및 인식 시스템을 제안한다. F-RCNN과 Tiny-YOLOv2를 사용하여 높은 정확도와 효율성을 달성하였으며, 고성능 PC와 라즈베리 파이 3 모델 B+와 같은 엣지 장치에 성공적으로 구현되어 다양한 조명 및 기상 조건에서도 견고한 성능을 보였다.

ABSTRACT

With the rapid development of technology, automobiles have become an essential asset in our day-to-day lives. One of the more important researches is Traffic Signs Recognition (TSR) systems. This paper describes an approach for efficiently detecting and recognizing traffic signs in real-time, taking into account the various weather, illumination and visibility challenges through the means of transfer learning. We tackle the traffic sign detection problem using the state-of-the-art of multi-object detection systems such as Faster Recurrent Convolutional Neural Networks (F-RCNN) and Single Shot Multi- Box Detector (SSD) combined with various feature extractors such as MobileNet v1 and Inception v2, and also Tiny-YOLOv2. However, the focus of this paper is going to be F-RCNN Inception v2 and Tiny YOLO v2 as they achieved the best results. The aforementioned models were fine-tuned on the German Traffic Signs Detection Benchmark (GTSDB) dataset. These models were tested on the host PC as well as Raspberry Pi 3 Model B+ and the TASS PreScan simulation. We will discuss the results of all the models in the conclusion section.

연구 동기 및 목표

• 다양한 조명, 기상 및 시야 조건에 저항하는 실시간 교통 표지 검출 및 인식 시스템 개발
• 독일 교통 표지 검출 벤치마크(GTSDB)에서 여러 딥 러닝 아키텍처—F-RCNN, SSD, YOLO 변종—의 성능 평가
• 전이 학습을 통한 최신 모델의 미세 조정을 통해 검출 정확도 및 추론 속도 향상
• 최고 성능을 보인 모델을 고성능 하드웨어 및 저비용 엣지 장치인 라즈베리 파이 3 모델 B+에 구현하고 벤치마크 측정
• 실세계 테스트 및 PreScan 시뮬레이션 환경을 통한 시스템 견고성 검증

제안 방법

• 객체 검출을 위해 백본 특징 추출기로 Inception v2를 사용한 Faster R-CNN 적용
• 엣지 장치 배포를 위한 실시간 검출 모델로 Tiny-YOLOv2 활용
• GTSDB 데이터셋에 대해 사전 훈련된 모델을 미세 조정하여 전이 학습 적용, 교통 표지 인식에 적응
• 표준 검출 지표인 평균 평균 정밀도(mAP)를 사용해 모델 성능 평가
• 실시간 가능성 평가를 위해 호스트 PC와 라즈베리 파이 3 모델 B+에서 추론 테스트 수행
• 다양한 주행 조건을 시뮬레이션하기 위해 TASS PreScan 시뮬레이션 환경을 활용한 결과 검증

실험 결과

연구 질문

• RQ1 어느 딥 러닝 아키텍처가 교통 표지 검출에서 정확도와 추론 속도 사이의 최적 균형을 달성하는가?
• RQ2 전이 학습과 모델 미세 조정은 GTSDB 데이터셋에서 검출 성능을 어떻게 향상시키는가?
• RQ3 고정확도 검출 모델을 저전력 엣지 장치인 라즈베리 파이 3 모델 B+에 효과적으로 구현할 수 있는가?
• RQ4 다양한 조명 및 기상 조건은 검출 시스템의 견고성에 어떤 영향을 미치는가?
• RQ5 실시간 검출 시나리오에서 F-RCNN(Inception v2)와 Tiny-YOLOv2의 비교 성능는 어떠한가?

주요 결과

• 평가된 모델들 중 F-RCNN(Inception v2)가 GTSDB 데이터셋에서 가장 높은 검출 정확도를 기록함
• Tiny-YOLOv2는 뛰어난 추론 속도를 보이며, 실시간 처리를 위한 라즈베리 파이 3 모델 B+에 성공적으로 배포됨
• 미세 조정된 모델은 다양한 조명 및 기상 조건에서도 높은 성능를 유지하여 강력한 일반화 능력을 보임
• 전이 학습은 사전 훈련 없이 학습하는 것에 비해 수렴 속도와 검출 mAP를 크게 향상시킴
• 시스템은 PC와 라즈베리 파이 모두에서 실시간 추론을 달성하여 임베디드 배포 가능성 확인
• PreScan 시뮬레이션 결과는 제어된 환경이지만 도전적인 조건에서도 시스템의 견고성을 검증함