[논문 리뷰] Real-Time Flying Object Detection with YOLOv8

Dillon Reis, Jordan Kupec외 2명|arXiv (Cornell University)|2023. 05. 17.

Advanced Neural Network Applications인용 수 337

한 줄 요약

논문은 40개의 비행 물체 클래스로 학습되고 실제 데이터로의 전이 학습을 통해 다듬어진 YOLOv8 기반 일반화 탐지기를 제시하며, 1080p에서 50 fps, mAP50-95가 0.685(일반화) 및 0.835(정교화)로 달성한다.

ABSTRACT

This paper presents a generalized model for real-time detection of flying objects that can be used for transfer learning and further research, as well as a refined model that achieves state-of-the-art results for flying object detection. We achieve this by training our first (generalized) model on a data set containing 40 different classes of flying objects, forcing the model to extract abstract feature representations. We then perform transfer learning with these learned parameters on a data set more representative of real world environments (i.e. higher frequency of occlusion, very small spatial sizes, rotations, etc.) to generate our refined model. Object detection of flying objects remains challenging due to large variances of object spatial sizes/aspect ratios, rate of speed, occlusion, and clustered backgrounds. To address some of the presented challenges while simultaneously maximizing performance, we utilize the current state-of-the-art single-shot detector, YOLOv8, in an attempt to find the best trade-off between inference speed and mean average precision (mAP). While YOLOv8 is being regarded as the new state-of-the-art, an official paper has not been released as of yet. Thus, we provide an in-depth explanation of the new architecture and functionality that YOLOv8 has adapted. Our final generalized model achieves a mAP50 of 79.2%, mAP50-95 of 68.5%, and an average inference speed of 50 frames per second (fps) on 1080p videos. Our final refined model maintains this inference speed and achieves an improved mAP50 of 99.1% and mAP50-95 of 83.5%

연구 동기 및 목표

• 실시간 비행 물체 탐지의 필요성과 전이 학습 및 실용적 배치를 동기화한다.
• 다양한 비행 물체 클래스로 학습된 일반화 모델을 개발하여 추상 특성을 학습한다.
• 가려짐, 작은 물체, 회전에 대응하기 위한 실제 조건에 맞춘 전이 학습 적용.
• 빠른 추론을 위한 YOLOv8 활용과 속도-정확도 trade-off 비교.
• 실시간 배치를 위한 다듬어진 즉시 사용 가능한 모델 제공.

제안 방법

• 탐지기로 YOLOv8을 채택하고 COCO 사전 학습 가중치로 초기화한다.
• 40 클래스 비행 물체 데이터셋에서 작은/중간/큰 YOLOv8 변형을 163 에폭으로 학습하여 최적의 트레이드오프를 선택한다(중간 모델).
• 가려짐과 스케일 변 variation이 큰 실제 세계 유사 데이터셋으로 추가 학습하여 전이 학습을 수행한다.
• 박스 회귀에 CIoU, 분류에 이진 크로스 엔트로피, 분포 포컬 로스와 가중치(λ_box, λ_cls, λ_dfl)를 사용한 손실 구성 요소를 이용한다.
• mAP50-95와 1080p 추론 속도(목표 30–60 fps)로 평가한다.
• 활성화 맵으로 활성화 및 오분류를 분석하여 특징 표현과 혼동을 이해한다(예: F-14 대 F-18).

실험 결과

연구 질문

• RQ1 YOLOv8과 같은 단발 탐지기가 다양한 비행 물체 클래스를 고해상도에서 실시간 탐지할 수 있는가?
• RQ2 일반화된 비행 물체 데이터셋으로부터의 전이 학습이 실제 환경의 가려짐 및 작은 물체 구역에서 성능을 향상시키는가?
• RQ3 이 과제에서 모델 크기, 추론 속도, mAP50-95 사이의 trade-off는 무엇인가?
• RQ4 비슷한 항공기에 대한 상호 클래스 혼동과 활성화 패턴은 어떤 관련이 있는가?
• RQ5 정교화된 모델이 실시간 배치를 위해 즉시 사용할 수 있는 상태인가?

주요 결과

• 일반화된 모델은 1080p 비디오에서 50 fps로 mAP50-95 0.685를 달성한다.
• 전이 학습을 통한 정교 모델은 50 fps를 유지하고 mAP50-95를 0.835로 향상시킨다.
• 중간 크기의 YOLOv8 모델이 테스트된 크기 중 속도-정확도 균형이 가장 좋다.
• 40개 비행 물체 클래스로 학습하면 전이에 적합한 추상 특징 학습이 촉진되며 특히 작은 물체나 위장된 물체에 유리하다.
• 활성화 맵 분석은 더 깊은 CSPDarknet53 계층이 미세한 특징에 초점을 맞추는 방식과 상호 클래스 혼동을 설명할 수 있음을 보여준다(예: F-14 대 F-18).
• 정교 모델은 도전적인 장면에서 멀리 있는 새와 매우 작은 물체(예: 드론, 헬리콥터)의 견고한 탐지를 보여준다.