[논문 리뷰] Evaluation of YOLO Models with Sliced Inference for Small Object Detection

Muhammed Can Keles, Batuhan Salmanoglu외 3명|arXiv (Cornell University)|2022. 03. 09.

Advanced Neural Network Applications인용 수 6

한 줄 요약

이 논문은 VisDrone2019Det 데이터셋에서 YOLOv5 및 YOLOX 모델을 사용하여 소형 객체 검출을 위해 슬라이스드 인퍼런스와 피니터닝을 평가한다. 슬라이스드 인퍼런스는 AP50 점수를 크게 향상시키며, 특히 YOLOv5에서 두드러진다. 슬라이스드 인퍼런스와 피니터닝을 병행한 결과, YOLOv5-Large 모델에서 최고의 성능을 기록하여 AP50가 48.8에 도달했다.

ABSTRACT

Small object detection has major applications in the fields of UAVs, surveillance, farming and many others. In this work we investigate the performance of state of the art Yolo based object detection models for the task of small object detection as they are one of the most popular and easy to use object detection models. We evaluated YOLOv5 and YOLOX models in this study. We also investigate the effects of slicing aided inference and fine-tuning the model for slicing aided inference. We used the VisDrone2019Det dataset for training and evaluating our models. This dataset is challenging in the sense that most objects are relatively small compared to the image sizes. This work aims to benchmark the YOLOv5 and YOLOX models for small object detection. We have seen that sliced inference increases the AP50 score in all experiments, this effect was greater for the YOLOv5 models compared to the YOLOX models. The effects of sliced fine-tuning and sliced inference combined produced substantial improvement for all models. The highest AP50 score was achieved by the YOLOv5- Large model on the VisDrone2019Det test-dev subset with the score being 48.8.

연구 동기 및 목표

• 실세계 환경에서 최신 기술 기반 YOLO 기반 모델의 소형 객체 검출 성능을 평가하기 위해.
• 슬라이스드 인퍼런스가 YOLOv5 및 YOLOX의 소형 객체 검출 성능에 미치는 영향을 분석하기 위해.
• 특히 슬라이스드 인퍼런스에 대응하기 위해 모델을 피니터닝하는 것이 얼마나 효과적인지 조사하기 위해.
• 소형 객체가 대부분을 차지하는 도전적인 데이터셋인 VisDrone2019Det에서 YOLO 모델의 성능 기준을 설정하기 위해.

제안 방법

• 연구는 객체 검출을 위해 YOLOv5 및 YOLOX 모델을 백본으로 사용한다.
• 슬라이스드 인퍼런스는 입력 이미지를 겹치지 않는 패치로 나누어 소형 객체 검출 성능을 향상시키는 방식으로 적용된다.
• 모델은 패치 기반 인퍼런스 환경에 맞추어 슬라이스드 인퍼런스 설정에서 피니터닝을 수행한다.
• 학습 및 평가는 소형 스케일 객체가 포함된 VisDrone2019Det 데이터셋에서 수행된다.
• 모든 실험에서 검출 성능 평가를 위해 AP50를 주요 지표로 사용한다.
• 슬라이스드 인퍼런스와 피니터닝의 조합이 시너지 효과를 낼 수 있도록 체계적으로 평가한다.

실험 결과

연구 질문

• RQ1 슬라이스드 인퍼런스는 YOLOv5 및 YOLOX의 소형 객체 검출 작업에서 AP50 성능에 어떤 영향을 미치는가?
• RQ2 슬라이스드 인퍼런스 이후 피니터닝을 적용했을 때 검출 정확도 향상 정도는 어느 정도인가?
• RQ3 슬라이스드 인퍼런스의 효과가 YOLOv5 및 YOLOX 모델 간에 다를까?
• RQ4 VisDrone2019Det에서 슬라이스드 인퍼런스와 피니터닝을 사용한 YOLO 모델이 달성할 수 있는 최고의 AP50 점수는 얼마인가?
• RQ5 슬라이스드 인퍼런스와 피니터닝의 조합이 표준 인퍼런스 설정을 초월할 수 있는가?

주요 결과

• 슬라이스드 인퍼런스는 테스트한 모든 YOLOv5 및 YOLOX 모델에서 AP50 점수를 일관되게 향상시켰다.
• 슬라이스드 인퍼런스로 인한 성능 향상은 YOLOX 모델보다 YOLOv5 모델에서 더 두드러졌다.
• 슬라이스드 피니터닝과 슬라이스드 인퍼런스를 병행한 결과, 표준 인퍼런스 또는 별개의 기법보다 뚜렷한 향상이 이루어졌다.
• YOLOv5-Large 모델은 VisDrone2019Det 테스트-디브 서브셋에서 최고의 AP50 점수 48.8을 기록했다.
• 슬라이스드 인퍼런스만으로도 AP50가 향상되었지만, 피니터닝과의 조합에서 가장 뚜렷한 성과를 보였다.
• 슬라이스드 인퍼런스 환경에 맞게 피니터닝을 통해 모델를 적응시키는 것이 소형 객체 검출 성능을 극대화하는 데 핵심적이라는 것이 입증되었다.