[논문 리뷰] A Comprehensive Approach for UAV Small Object Detection with Simulation-based Transfer Learning and Adaptive Fusion

Rui Chen, Youwei Guo외 2명|arXiv (Cornell University)|2021. 09. 04.

Advanced Neural Network Applications참고 문헌 34인용 수 15

한 줄 요약

이 논문은 시뮬레이션 기반 전이 학습과 적응형 특징 융합을 활용한 UAV 소형 객체 검출을 위한 종합적인 접근법을 제안한다. AirSim을 활용해 고해상도의 합성 UAV 데이터셋을 생성하고, 시뮬레이션에서 실세계로의 도메인 간 격차를 줄이기 위해 전이 학습을 적용하며, YOLOv5의 네크에서 적응형 융합 메커니즘을 도입하여 소형 객체의 특징 표현을 향상시켜 기준 YOLOv5 모델 대비 7.1%의 AP 향상을 달성한다.

ABSTRACT

Precisely detection of Unmanned Aerial Vehicles(UAVs) plays a critical role in UAV defense systems. Deep learning is widely adopted for UAV object detection whereas researches on this topic are limited by the amount of dataset and small scale of UAV. To tackle these problems, a novel comprehensive approach that combines transfer learning based on simulation data and adaptive fusion is proposed. Firstly, the open-source plugin AirSim proposed by Microsoft is used to generate mass realistic simulation data. Secondly, transfer learning is applied to obtain a pre-trained YOLOv5 model on the simulated dataset and fine-tuned model on the real-world dataset. Finally, an adaptive fusion mechanism is proposed to further improve small object detection performance. Experiment results demonstrate the effectiveness of simulation-based transfer learning which leads to a 2.7% performance increase on UAV object detection. Furthermore, with transfer learning and adaptive fusion mechanism, 7.1% improvement is achieved compared to the original YOLO v5 model.

연구 동기 및 목표

• AirSim을 사용하여 고해상도의 합성 데이터를 생성함으로써 실제 UAV 검출 데이터셋의 부족을 해결한다.
• 실세계 데이터 레이블링에 드는 비용을 줄이기 위해 시뮬레이션 데이터에서 실세계 타겟 도메인으로의 전이 학습을 활용한다.
• 얕은 층과 깊은 층 간의 특징 융합을 최적화하여 소형 객체 검출 성능을 향상시킨다.
• 소형 UAV 검출을 향상시키기 위해 특징 전파를 동적으로 균형 조절할 수 있는 학습 가능한 융합 메커니즘을 개발한다.

제안 방법

• Microsoft의 AirSim 시뮬레이션 플랫폼을 사용하여 12개의 다양한 시점과 4종의 일반적인 UAV 모델을 포함한 시뮬레이션 UAV 데이터셋(simiUAV)을 생성하였다.
• YOLOv5 모델을 시뮬레이션 데이터셋에서 사전 학습하여 UAV 검출을 위한 일반화 가능한 특징을 학습하였다.
• 실세계 제한된 데이터셋(RD1)에서 사전 학습된 모델을 미세조정하여 실세계 도메인에 적응하고 도메인 이탈을 줄였다.
• YOLOv5의 네크 모듈의 상향 경로에 학습 가능한 융합 계수(α)를 도입하여 적응형 융합 메커니즘(AF-YOLO)을 제안하였다.
• α 값이 학습 중 최적화되어 소형 객체에 대해 해로운 깊은 특징을 억제할 수 있도록, 특징 융합을 미분 가능한 과정으로 정의하였다.
• 다양한 객체 크기에서 AP 지표를 사용해 모델을 평가하였으며, 융합 계수와 전이 학습의 효용성에 대한 분석 연구를 수행하였다.

실험 결과

연구 질문

• RQ1 시뮬레이션 기반 데이터 생성이 실제 UAV 이미지 수집 및 레이블링의 필요성을 효과적으로 줄일 수 있는가?
• RQ2 시뮬레이션 데이터에서의 전이 학습이 실제 UAV 데이터셋에서의 검출 성능 향상에 어느 정도 기여하는가?
• RQ3 고정된 융합 전략과 비교해 얕은 층과 깊은 층의 특징을 적응형으로 융합할 경우 소형 객체 검출 정확도에 어떤 영향을 미치는가?
• RQ4 항공 영상에서 소형 UAV를 검출하기 위해 깊은 층과 얕은 층의 특징 간 최적의 균형은 무엇인가?

주요 결과

• 실세계 데이터로만 훈련한 경우 대비, 시뮬레이션 데이터에서의 전이 학습이 AP를 2.7%포인트 향상시켰다.
• 적응형 융합 메커니즘(AF-YOLO)은 원본 YOLOv5 모델 대비 평균 평균 정밀도(mAP)에서 7.1%의 절대적 향상을 달성하였다.
• 가장 우수한 성능을 보인 융합 전략은 α₄⁵ = -0.231 및 α₃⁴ = 0.013로 수렴하는 적응형 계수를 사용하였으며, 이는 깊은 특징의 억제가 소형 객체 검출에 유리함을 시사한다.
• 고정된 융합 계수 0.00(깊은 특징 미사용)가 전체 융합(계수 1.00)보다 우수했으며, 이는 깊은 특징이 소형 객체 검출에 해로울 수 있음을 입증한다.
• 특징 맵의 시각화 결과, AF-YOLO가 소형 UAV에 대해 더 명확하고 구분력 있는 표현을 생성하는 것으로 확인되었다.
• 전이 학습과 적응형 융합을 조합한 결과, RD1 데이터셋에서 최고의 mAP 0.636을 기록하여 상호보완적인 성능 향상 효과를 입증하였다.