[논문 리뷰] YOLO-Drone:Airborne real-time detection of dense small objects from high-altitude perspective

Zhu Li, Jiahui Xiong외 3명|arXiv (Cornell University)|2023. 04. 14.

Advanced Neural Network Applications인용 수 6

한 줄 요약

YOLO-Drone는 고고도에서의 고밀도 소형 물체 감지를 위해 새로운 Darknet59 백본, MSPP-FPN 특징 집합 및 GIoU 손실을 사용하는 실시간 객체 검출 모델을 제안한다. 이는 UAVDT에서 53 FPS 추론 속도와 34.04% mAP 성능을 달성했으며, 실리콘 기반 골드 LED 조명 조건에서 87.71% mAP를 기록하여 기존 최고 성능(SOTA) 방법보다 UAVDT에서 10.13%, VisDrone에서 8.59% 향상되었다.

ABSTRACT

Unmanned Aerial Vehicles (UAVs), specifically drones equipped with remote sensing object detection technology, have rapidly gained a broad spectrum of applications and emerged as one of the primary research focuses in the field of computer vision. Although UAV remote sensing systems have the ability to detect various objects, small-scale objects can be challenging to detect reliably due to factors such as object size, image degradation, and real-time limitations. To tackle these issues, a real-time object detection algorithm (YOLO-Drone) is proposed and applied to two new UAV platforms as well as a specific light source (silicon-based golden LED). YOLO-Drone presents several novelties: 1) including a new backbone Darknet59; 2) a new complex feature aggregation module MSPP-FPN that incorporated one spatial pyramid pooling and three atrous spatial pyramid pooling modules; 3) and the use of Generalized Intersection over Union (GIoU) as the loss function. To evaluate performance, two benchmark datasets, UAVDT and VisDrone, along with one homemade dataset acquired at night under silicon-based golden LEDs, are utilized. The experimental results show that, in both UAVDT and VisDrone, the proposed YOLO-Drone outperforms state-of-the-art (SOTA) object detection methods by improving the mAP of 10.13% and 8.59%, respectively. With regards to UAVDT, the YOLO-Drone exhibits both high real-time inference speed of 53 FPS and a maximum mAP of 34.04%. Notably, YOLO-Drone achieves high performance under the silicon-based golden LEDs, with a mAP of up to 87.71%, surpassing the performance of YOLO series under ordinary light sources. To conclude, the proposed YOLO-Drone is a highly effective solution for object detection in UAV applications, particularly for night detection tasks where silicon-based golden light LED technology exhibits significant superiority.

연구 동기 및 목표

• 제한된 해상도, 이미지 품질 악화 및 실시간 처리 제약 조건으로 인해 UAV 원격 감지에서 소형 밀집 물체를 감지하는 데 도전하는 문제를 해결한다.
• 특히 저조도 조건에서 고고도 항공 영상 내 소형 물체의 검출 정확도와 추론 속도를 향상시킨다.
• 자원 제약이 있는 UAV 플랫폼에 최적화된 실시간 성능과 향상된 특징 표현을 갖춘 강력한 객체 검출 시스템을 개발한다.
• 비표준 조명 조건, 특히 실리콘 기반 골드 LED 조명을 고려하여 성능을 평가함으로써 야간 감지의 효과성을 확보한다.
• 기준 및 고유 데이터셋(골드 LED 조명 조건 하의 야간 데이터셋 포함)에서 최고 성능(SOTA) 방법보다 뛰어난 성능을 입증한다.

제안 방법

• 항공 영상 내 소형 물체 검출을 위한 기능 추출 효율성과 표현력을 향상시키기 위해 설계된 새로운 백본 네트워크인 Darknet59를 제안한다.
• 다중 척도 특징 학습을 향상시키기 위해 하나의 공간 피어리어 풀링과 세 개의 아트로스 스페이셜 피어리어 풀링 모듈을 조합한 복잡한 특징 집합 모듈인 MSPP-FPN을 제안한다.
• 학습 중 바운딩 박스 회귀 및 IoU 추정을 향상시키기 위해 일반화된 교차율(Generalized Intersection over Union, GIoU)을 손실 함수로 사용한다.
• 포괄적인 평가를 위해 두 개의 공개 기준 데이터셋(UAVDT 및 VisDrone)과 실리콘 기반 골드 LED 조명 조건 하에서 촬영한 고유의 야간 데이터셋을 활용한다.
• 자원 제약이 있는 UAV 플랫폼에 실질적인 구현을 보장하기 위해 실시간 추론을 최적화하여 UAVDT에서 53 FPS의 성능을 달성한다.
• 모델을 두 가지 새로운 UAV 플랫폼에 적용하여 다양한 하드웨어 및 비행 조건에서의 일반화 능력과 강건성을 검증한다.

실험 결과

연구 질문

• RQ1 기존 SOTA 방법에 비해 수정된 YOLO 아키텍처가 고고도 UAV 영상 내 소형 물체 검출에서 상당히 높은 mAP 성능을 달성할 수 있는가?
• RQ2 제안된 MSPP-FPN 모듈이 항공 영상 내 소형 밀집 물체의 특징 표현 및 검출 정확도를 얼마나 향상시키는가?
• RQ3 GIoU 손실의 사용이 UAV 기반 객체 검출 작업에서 정위치 정확도와 mAP에 얼마나 기여하는가?
• RQ4 특히 실리콘 기반 골드 LED 조명 조건에서 YOLO-Drone 모델이 저조도 조건에서도 높은 성능을 유지할 수 있는가?
• RQ5 YOLO-Drone의 실시간 추론 속도는 UAV 플랫폼에서 얼마이며, 다른 실시간 검출 모델과 비교해 볼 때 어떤가?

주요 결과

• YOLO-Drone는 UAVDT 데이터셋에서 기존 SOTA 방법 대비 10.13% 향상된 mAP 성능을 기록하여 최대 mAP 34.04%를 달성했다.
• VisDrone 데이터셋에서 YOLO-Drone는 기존 SOTA 방법 대비 mAP 8.59% 향상되어 다양한 데이터셋 간의 강력한 일반화 능력을 입증했다.
• YOLO-Drone는 UAVDT에서 실시간 추론 속도 53 FPS를 유지하여 자원 제약이 있는 UAV 시스템에의 구현 적합성을 확인했다.
• 실리콘 기반 골드 LED 조명 조건에서 YOLO-Drone는 mAP 87.71%를 기록하여 일반 조명 조건에서의 표준 YOLO 변종보다 뚜렷이 뛰어난 성능을 보였다.
• Darknet59, MSPP-FPN, GIoU 손실의 조합은 특히 고고도에서 밀집된 소형 물체가 있는 환경에서 뛰어난 특징 학습과 정위치 성능을 이끌어냈다.
• 제안된 방법은 저조도 조건에서도 강력한 강건성과 높은 성능을 보이며, 모델 아키텍처와 골드 LED 조명 간의 상호보완적 상호작용이 야간 드론 기반 검출에 매우 효과적임을 시사한다.