[논문 리뷰] YOLOv3 with Spatial Pyramid Pooling for Object Detection with Unmanned Aerial Vehicles

Wahyu Pebrianto, Panca Mudjirahardjo외 3명|arXiv (Cornell University)|2023. 05. 21.

Advanced Neural Network Applications인용 수 6

한 줄 요약

이 논문은 드론에서 촬영한 영상에서 소형 객체 탐지를 향상시키기 위해 공간 히에라르키컬 풀링(SPP)을 통합한 YOLOv3을 제안한다. 다크넷-53 백본에 SPP를 통합함으로써 다중 척도 특징 추출 능력이 향상되어, 640×640 입력 해상도에서 YOLOv3보다 0.6% 높은 mAP를 기록했으며, YOLOv3-tiny보다는 26.6% 높은 성능을 보였다. 이는 고고도에서의 영상에서의 강건성 향상도 함께 확인되었다.

ABSTRACT

Object detection with Unmanned Aerial Vehicles (UAVs) has attracted much attention in the research field of computer vision. However, not easy to accurately detect objects with data obtained from UAVs, which capture images from very high altitudes, making the image dominated by small object sizes, that difficult to detect. Motivated by that challenge, we aim to improve the performance of the one-stage detector YOLOv3 by adding a Spatial Pyramid Pooling (SPP) layer on the end of the backbone darknet-53 to obtain more efficient feature extraction process in object detection tasks with UAVs. We also conducted an evaluation study on different versions of YOLOv3 methods. Includes YOLOv3 with SPP, YOLOv3, and YOLOv3-tiny, which we analyzed with the VisDrone2019-Det dataset. Here we show that YOLOv3 with SPP can get results mAP 0.6% higher than YOLOv3 and 26.6% than YOLOv3-Tiny at 640x640 input scale and is even able to maintain accuracy at different input image scales than other versions of the YOLOv3 method. Those results prove that the addition of SPP layers to YOLOv3 can be an efficient solution for improving the performance of the object detection method with data obtained from UAVs.

연구 동기 및 목표

• 고고도에서 촬영한 드론 영상에서 소형 객체 탐지의 과제를 해결하기 위해.
• 항공 영상에 적합한 단계별 객체 탐지기인 YOLOv3의 성능을 향상시키기 위해.
• 공간 히에라르키컬 풀링(SPP)을 YOLOv3의 백본에 통합하여 다중 척도 특징 학습 능력을 평가하기 위해.
• 다양한 입력 해상도에서 표준 YOLOv3 및 YOLOv3-tiny와 비교하여 SPP를 통합한 YOLOv3의 성능을 평가하기 위해.
• 다양한 입력 해상도에서의 객체 탐지 정확도 향상과 강건성 향상을 입증하기 위해.

제안 방법

• YOLOv3의 다크넷-53 백본 뒤에 공간 히에라르키컬 풀링(SPP) 레이어를 통합하여 다중 척도의 맥락적 특징을 캡처하기 위해.
• SPP 모듈에서 다양한 척도(예: 1×1, 3×3, 5×5, 7×7)의 최대 풀링을 사용하여 서로 다른 수신장치에서의 특징를 집계하기 위해.
• 풀링된 특징을 YOLOv3의 넥과 헤드로 전달하여 객체 탐지 수행하기 위해.
• 640×640 입력 해상도를 사용하여 VisDrone2019-Det 데이터셋에서 모델을 훈련 및 평가하기 위해.
• 유사한 조건에서 SPP를 통합한 YOLOv3, 표준 YOLOv3, YOLOv3-tiny의 추론 성능을 비교하기 위해.
• 640×640를 초월한 다양한 입력 해상도에서의 정확도를 평가하여 모델의 일반화 능력을 시험하기 위해.

실험 결과

연구 질문

• RQ1 YOLOv3에 SPP를 통합하면 드론 영상에서 소형 객체 탐지 정확도를 향상시킬 수 있는가?
• RQ2 VisDrone2019-Det 데이터셋에서 SPP를 통합한 YOLOv3는 표준 YOLOv3 및 YOLOv3-tiny와 비교해 mAP에서 어떤 성능을 보이는가?
• RQ3 SPP가 강화된 YOLOv3는 다양한 입력 이미지 해상도에서 높은 탐지 정확도를 유지하는가?
• RQ4 SPP는 항공 영상에서 소형 객체 탐지에 있어 특징 표현을 얼마나 향상시키는가?
• RQ5 SPP 모듈은 드론 촬영 영상에서 척도 변화에 대한 강건성을 향상시키는 데 효과적인가?

주요 결과

• SPP를 통합한 YOLOv3는 640×640 입력 해상도에서 VisDrone2019-Det 데이터셋에서 표준 YOLOv3보다 0.6% 높은 평균 평균 정밀도(mAP)를 기록했다.
• 유사한 평가 조건에서 SPP가 강화된 모델은 YOLOv3-tiny보다 mAP에서 26.6% 높은 성능을 보였다.
• 다양한 입력 이미지 해상도에서 높은 탐지 정확도를 유지하여 강건성이 향상됨을 입증했다.
• SPP의 추가로 백본에서 다중 척도 맥락 정보를 캡처함으로써 특징 추출 효율성이 향상되었다.
• SPP 모듈은 고고도 드론 영상에서 소형 객체의 정확한 국소화 및 분류에 기여하였다.
• 결과적으로 SPP 통합은 항공 객체 탐지 작업에서 YOLOv3를 향상시키는 효과적이고 효율적인 방법임을 확인했다.