[논문 리뷰] Analysis and Adaptation of YOLOv4 for Object Detection in Aerial Images

Aryaman Singh Samyal, K R Akshatha외 3명|arXiv (Cornell University)|2022. 03. 18.

Advanced Neural Network Applications인용 수 5

한 줄 요약

이 논문은 YOLOv4를 VisDrone DET 데이터셋에서의 이동 학습을 통해 항공 객체 검출에 적응시켰으며, Tesla K80에서 45.64% mAP 및 8.7 FPS 추론 속도를 달성하였다. 이 모델은 고밀도 항공 영상에서 작은, 잘린, 가려진 객체를 검출하는 데 뛰어나며, 드론 기반 실시간 응용 프로그램에서 최신 기술 대비 빠른 속도와 높은 정확도를 확보하고 있다.

ABSTRACT

The recent and rapid growth in Unmanned Aerial Vehicles (UAVs) deployment for various computer vision tasks has paved the path for numerous opportunities to make them more effective and valuable. Object detection in aerial images is challenging due to variations in appearance, pose, and scale. Autonomous aerial flight systems with their inherited limited memory and computational power demand accurate and computationally efficient detection algorithms for real-time applications. Our work shows the adaptation of the popular YOLOv4 framework for predicting the objects and their locations in aerial images with high accuracy and inference speed. We utilized transfer learning for faster convergence of the model on the VisDrone DET aerial object detection dataset. The trained model resulted in a mean average precision (mAP) of 45.64% with an inference speed reaching 8.7 FPS on the Tesla K80 GPU and was highly accurate in detecting truncated and occluded objects. We experimentally evaluated the impact of varying network resolution sizes and training epochs on the performance. A comparative study with several contemporary aerial object detectors proved that YOLOv4 performed better, implying a more suitable detection algorithm to incorporate on aerial platforms.

연구 동기 및 목표

• 드론(UAV)이 촬영한 항공 영상에서 작은, 빽빽이 밀집된, 잘린, 가려진 객체를 검출하는 데 도전하는 문제를 해결한다.
• 자원 제약이 있는 항공 플랫폼에 실시간 배포를 위해 검출 정확도와 추론 속도를 향상시킨다.
• VisDrone 데이터셋에서 현존하는 검출기들과의 비교를 통해 YOLOv4의 항공 검출 효과성을 평가한다.
• 입력 해상도와 학습 에포크 수가 YOLOv4의 항공 객체 검출 성능에 미치는 영향을 조사한다.
• 이동 학습과 데이터 증강 기법이 스케일 및 가림 변화에 대한 YOLOv4의 강인성 향상에 기여하는지를 보여준다.

제안 방법

• ImageNet 사전 학습 가중치를 사용하여 이동 학습을 통해 VisDrone DET 데이터셋에서 YOLOv4를 미세 조정하여 수렴 속도를 가속화한다.
• PANet와 공간 피라미드 풀링(SPP)을 통한 다중 척도 특징 융합을 통해 수용 영역과 특징 표현을 향상시킨다.
• 일괄 무료 기법(Bag of Freebies)으로서 mixup, mosaic, 무작위 스케일링 등의 데이터 증강 기법을 적용하여 일반화 및 강인성을 향상시킨다.
• 정확도와 추론 속도 사이의 트레이드오프를 분석하기 위해 다양한 입력 해상도(416×416에서 1120×1120까지)로 모델을 학습시켰다.
• VisDrone 테스트 세트에서 평균 평균 정밀도(mAP)와 추론 속도(FPS)를 주요 평가 지표로 사용하였다.
• 학습률, 배치 크기, 학습 에포크 수 등의 하이퍼파rameter를 최적화하여 mAP를 극대화하면서도 실시간 성능를 유지하였다.

실험 결과

연구 질문

• RQ1 YOLOv4는 VisDrone 데이터셋에서 항공 객체 검출에 대해 높은 정확도와 실시간 추론 속도를 달성할 수 있는가?
• RQ2 입력 해상도가 항공 검출 작업에서 YOLOv4의 mAP와 추론 속도에 어떤 영향을 미치는가?
• RQ3 이동 학습이 작은 객체가 많은 항공 데이터셋에서 수렴 속도와 성능 향상에 얼마나 기여하는가?
• RQ4 기타 최신 기술 검출기들과 비교했을 때 YOLOv4는 잘린, 가려진 객체를 얼마나 잘 검출하는가?
• RQ5 제한된 컴퓨팅 자원을 가진 드론(UAV)에 배포하기 위해 모델 정확도와 추론 속도 사이의 최적의 균형은 무엇인가?

주요 결과

• YOLOv4는 VisDrone DET 데이터셋에서 평균 평균 정밀도(mAP)가 45.64%를 기록하여, 정확도와 속도 면에서 여러 현존 검출기들을 능가하였다.
• Tesla K80 GPU에서 추론 속도가 8.7 FPS를 기록하여 드론에의 실시간 구현 가능성을 입증하였다.
• 입력 해상도를 416×416에서 768×768으로 증가시키면 작은 객체 검출 성능이 크게 향상되어 mAP가 33.06%에서 45.64%로 상승하였다.
• 416×416 해상도에서 'person'의 9.92%와 'bicycle'의 8.91%를 성공적으로 검출하여, 해상도 및 아키텍처 최적화 이후 작은 객체 검출 성능 향상이 확인되었다.
• 두 단계 검출기인 ACM-OD와 DPNet-ensemble보다 YOLOv4는 추론 속도에서 뛰어나 8.7 FPS를 기록하였다.
• VisDrone 평가 기준에서 50% 이상 잘린 객체 예측를 제외한 점(한계점)이 있었음에도 불구하고, YOLOv4는 여전히 뛰어난 mAP 성능를 기록하여 잘림 및 가림에 대한 강건성을 입증하였다.