[논문 리뷰] Comparison of Object Detection Algorithms for Street-level Objects

Martinus Grady Naftali, Jason Sebastian Sulistyawan외 1명|arXiv (Cornell University)|2022. 08. 24.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 연구는 도로 수준의 물체 검출을 위한 수정된 Udacity 자율주행 자동차 데이터셋에서 다섯 가지 단계별 물체 검출 알고리즘—SSD MobileNetv2 FPN-lite, YOLOv3, YOLOv4, YOLOv5l, YOLOv5s—의 성능을 평가한다. YOLOv5l은 가장 높은 정확도(mAP@.5: 0.593)를 기록했으며, SSD MobileNetv2 FPN-lite는 가장 빠른 속도(3.20ms 추론 시간)를 기록했고, YOLOv5s는 자율주행 차량과 같은 실시간 응용 분야에서 속도와 정확도의 최적의 균형을 제공했다.

ABSTRACT

Object detection for street-level objects can be applied to various use cases, from car and traffic detection to the self-driving car system. Therefore, finding the best object detection algorithm is essential to apply it effectively. Many object detection algorithms have been released, and many have compared object detection algorithms, but few have compared the latest algorithms, such as YOLOv5, primarily which focus on street-level objects. This paper compares various one-stage detector algorithms; SSD MobileNetv2 FPN-lite 320x320, YOLOv3, YOLOv4, YOLOv5l, and YOLOv5s for street-level object detection within real-time images. The experiment utilizes a modified Udacity Self Driving Car Dataset with 3,169 images. Dataset is split into train, validation, and test; Then, it is preprocessed and augmented using rescaling, hue shifting, and noise. Each algorithm is then trained and evaluated. Based on the experiments, the algorithms have produced decent results according to the inference time and the values of their precision, recall, F1-Score, and Mean Average Precision (mAP). The results also shows that YOLOv5l outperforms the other algorithms in terms of accuracy with a mAP@.5 of 0.593, MobileNetv2 FPN-lite has the fastest inference time among the others with only 3.20ms inference time. It is also found that YOLOv5s is the most efficient, with it having a YOLOv5l accuracy and a speed almost as quick as the MobileNetv2 FPN-lite. This shows that various algorithm are suitable for street-level object detection and viable enough to be used in self-driving car.

연구 동기 및 목표

• 현대의 단계별 물체 검출 알고리즘의 도로 수준 물체 검출 작업에서의 성능을 평가하기 위해.
• YOLOv3, YOLOv4, YOLOv5l, YOLOv5s, SSD MobileNetv2 FPN-lite 간의 추론 속도, 정밀도, 재현율, F1 점수 및 mAP를 비교하기 위해.
• 자율주행 차량과 같은 실시간 응용 분야에 가장 적합한 알고리즘을 특정하기 위해.
• 데이터 증강(크기 조정, 색조 이동, 노이즈 추가)이 모델의 일반화 능력과 강건성에 미치는 영향을 평가하기 위해.
• 실제 주행 데이터셋에서 이전 모델들과 비교하여 최신 YOLOv5 버전의 경험적 기준을 제공하기 위해.

제안 방법

• 수정된 Udacity 자율주행 자동차 데이터셋(3,169장의 이미지)에서 다섯 가지 단계별 검출기—SSD MobileNetv2 FPN-lite, YOLOv3, YOLOv4, YOLOv5l, YOLOv5s—를 훈련 및 평가하였다.
• 표준 70/15/15 분할 방식을 사용하여 데이터셋을 훈련, 검증, 테스트 세트로 분할하였다.
• 모델 일반화 능력을 향상시키기 위해 이미지 크기 조정, 색조 이동, 노이즈 주입 등의 데이터 증강 기법을 적용하였다.
• 8th Gen Intel i5-8600K CPU, GTX 1050 Ti GPU, 16GB RAM을 탑재한 시스템에서 정밀도, 재현율, F1 점수, mAP@.5, mAP@.5:95, 추론 시간을 측정하여 성능을 평가하였다.
• mAP 계산을 위해 교차율(IoU) 임계값으로 0.5와 0.5–0.95를 사용하였으며, mAP@.5:95는 다중 IoU 임계값에 걸친 평균 정밀도를 나타낸다.
• 표준 물체 검출 지표를 사용하여 모델을 평가하였으며, 공식은 다음과 같다: 정밀도 = TP / (TP + FP), 재현율 = TP / (TP + FN), F1-점수 = 2 × (정밀도 × 재현율) / (정밀도 + 재현율).

실험 결과

연구 질문

• RQ1 수정된 Udacity 데이터셋에서 도로 수준의 물체 검출에 대해 어느 단계별 물체 검출 알고리즘이 가장 높은 mAP를 기록하는가?
• RQ2 어느 알고리즘이 자율주행 차량의 실시간 구동에 적합한 가장 빠른 추론 시간을 제공하는가?
• RQ3 더 나은 성능을 보이는 YOLOv5 모델(YOLOv5l 및 YOLOv5s)이 동일한 벤치마크에서 YOLOv3 및 YOLOv4와 비교해 정확도와 속도 면에서 어떻게 다른가?
• RQ4 데이터 증강이 다양한 모델의 검출 성능 향상에 얼마나 기여하는가?
• RQ5 YOLOv5s는 정확도와 속도 사이의 유리한 트레이드오프를 달성할 수 있는가? 이는 실시간 자율주행 응용 분야에 이상적인가?

주요 결과

• YOLOv5l은 0.593의 mAP@.5 점수를 기록하여 모든 다른 모델보다 정확도 면에서 뛰어났다.
• SSD MobileNetv2 FPN-lite는 3.20ms의 추론 시간을 기록하여 실시간 추론에 가장 효율적인 것으로 나타났다.
• YOLOv5s는 mAP@.5가 0.530을 기록했으며, YOLOv5l의 0.593보다 11% 낮게 나타났지만, 8.50ms의 빠른 추론 시간을 유지하였다.
• YOLOv4는 F1 점수, 정밀도, mAP 면에서 YOLOv5l과 YOLOv3보다 열 劣하였으며, 가장 느린 추론 시간(27.90ms)을 기록했다.
• YOLOv5s는 정확도와 속도 사이의 강력한 균형을 보였으며, 실시간 자율주행 차량 응용 분야에 가장 적합한 모델로 나타났다.
• SSD MobileNetv2 FPN-lite는 mAP@.5가 0.315로 가장 낮아, 빠른 속도에도 불구하고 검출 정확도가 떨어지는 것으로 나타났다.