[논문 리뷰] Leveraging Synthetic Data in Object Detection on Unmanned Aerial Vehicles

Benjamin Kiefer, David J. Ott외 1명|arXiv (Cornell University)|2021. 12. 22.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 고해상도 합성 데이터를 Grand Theft Auto V (GTAV)에서 확장된 DeepGTAV 프레임워크를 통해 무인 항공기(UAV)의 객체 검출 성능 향상에 활용하는 방법을 제안한다. 다양한 UAV 시나리오에서 대규모로 생성된 메타데이터가 일치하는 합성 데이터셋을 생성하고 합성 데이터 전처리를 적용함으로써, 실데이터 전용 학습과 동등한 성능을 달성하였으며, 특히 그래픽 품질과 메타데이터 일치도가 핵심 요소로 작용한다. 이는 특정 카메라 각도나 일몰/일출 분포를 목표로 할 경우 尤히 두드러진다.

ABSTRACT

Acquiring data to train deep learning-based object detectors on Unmanned Aerial Vehicles (UAVs) is expensive, time-consuming and may even be prohibited by law in specific environments. On the other hand, synthetic data is fast and cheap to access. In this work, we explore the potential use of synthetic data in object detection from UAVs across various application environments. For that, we extend the open-source framework DeepGTAV to work for UAV scenarios. We capture various large-scale high-resolution synthetic data sets in several domains to demonstrate their use in real-world object detection from UAVs by analyzing multiple training strategies across several models. Furthermore, we analyze several different data generation and sampling parameters to provide actionable engineering advice for further scientific research. The DeepGTAV framework is available at https://git.io/Jyf5j.

연구 동기 및 목표

• 법적 제약, 개인정보 문제, 복잡한 데이터 수집 과정으로 인해 실세계 UAV 객체 검출 데이터셋의 부족과 높은 비용 문제를 해결하기 위해.
• 합성 데이터 생성을 통해 스케일러블한 대안을 제공함으로써 UAV 객체 검출에서의 도메인 이탈과 성능 격차를 극복하기 위해.
• 대상 데이터 생성 및 메타데이터 일치를 통해 합성 데이터의 실세계 UAV 응용으로의 이행 가능성을 향상시키기 위해.
• 최적의 모델 성능을 위한 합성 데이터 생성 파rameter(예: 그래픽 품질, 메타데이터 일치, 데이터 샘플링 전략)에 대한 실용적인 엔지니어링 통찰을 제공하기 위해.
• 도메인 적응형 데이터 컬렉션과 결합된 합성 전처리 학습이 실데이터 전용 학습 성능을 추월하거나 이를 능가할 수 있음을 입증하기 위해.

제안 방법

• GTAV 내 공중 카메라 설정을 지원하도록 DeepGTAV 프레임워크를 확장하여, 동적 에이전트 및 카메라 위치, 회전, 환경 조작을 가능하게 하였다.
• 교통 감시(VisDrone), 해양 탐색(SeaDronesSee), 가축 모니터링(Cattle) 등 UAV 응용 분야별로 세 가지 대규모 고해상도(4K) 합성 객체 검출 데이터셋을 생성하였다.
• 실세계 데이터 분포와 일치하기 위해 합성 데이터 분포(예: 일몰/일출 시간, 카메라 각도)를 샘플링함으로써 메타데이터 추출 및 일치를 자동화하였다.
• 생성된 데이터셋을 기반으로 YOLOv5 및 EfficientDet-D0 모델을 합성 데이터 전용 및 합성-실세계 전이 학습 전략으로 훈련시켰다.
• 그래픽 품질(고품질 대비 저품질), 데이터 양, ImageNet에서의 전처리 학습, 메타데이터 일치도 등이 mAP@50에 미치는 영향을 평가하기 위해 분석 실험을 수행하였다.
• 부트스트랩 샘플링 및 분포 일치 기법을 활용해 실세계 데이터 특성과 유사한 합성 서브셋을 생성함으로써 데이터 효율성과 모델 일반화 능력을 향상시켰다.

Figure 1: Real (left) and synthetic (right) image samples in different applications scenarios with ground truth annotations. Representative objects are magnified.

실험 결과

연구 질문

• RQ1 GTAV와 같은 비디오 게임 엔진에서 유도된 합성 데이터가 실 UAV 영상에서의 객체 검출 성능 향상에 효과적으로 기여할 수 있는가?
• RQ2 시뮬레이션 엔진의 그래픽 품질이 합성 데이터의 실세계 UAV 검출 작업으로의 이행 가능성에 어떤 영향을 미치는가?
• RQ3 실세계 데이터 분포와 일치하는 합성 데이터 분포(예: 일몰/일출 시간, 카메라 각도)를 설정할 경우 성능 향상 정도는 어느 정도인가?
• RQ4 합성 전처리 학습이 실데이터 전용 학습을 능가하거나 이를 추월할 수 있는가? 어떤 조건에서 그러한 성능 향상이 발생하는가?
• RQ5 합성 데이터와 함께 대규모 자연 이미지 데이터셋에서의 전처리 학습이 UAV 검출에 어떤 역할을 하는가?

주요 결과

• 고품질 GTAV 데이터로 합성 전처리 학습을 수행한 결과, VisDrone에 미세조정했을 때 mAP@50가 실데이터 전용 기준선(43.9)에서 45.1로 향상되어 효과적인 도메인 전이가 이루어졌음을 입증하였다.
• 합성 데이터의 고품질 그래픽이 순수 합성 학습에서 1.8%p의 mAP@50 향상(10.2 대비 8.4)을 이끌었지만, 전이 학습에서는 이 효과가 감소하였다.
• 실세계 일몰/일출 분포에 맞춰 합성 데이터를 일치시킨 결과, SeaDronesSee에서 합성 데이터 전용 mAP@50가 10.5에서 14.6로 4.1점 향상되었으며, 전이 학습에선 미미한 향상만 관찰되었다.
• 실 Cattle 데이터셋 내 20° 이내의 수직 하향 카메라 각도로만 합성 데이터를 제한한 결과, 합성 데이터 전용 mAP@50가 29.2에서 36.6으로 향상되어, 표적 설정 기반 데이터 코어닝이 효율성을 높임을 보여주었다.
• 합성-실세계 전이 학습을 통해 Cattle에서 85.8 mAP@50, SeaDronesSee에서 60.5 mAP@50를 달성하였으며, 일부 경우에서 실데이터 전용 기준선을 뛰어넘는 성능을 기록하였다.
• ImageNet에서의 전처리 학습은 모든 설정에서 일관되게 성능 향상을 이끌었으며, 합성 데이터와의 상호작용 효과는 관찰되지 않아 상호보완적 이점이 있음을 시사하였다.

Figure 2: The effect of the real and synthetic data set size on the model performance for VisDrone and SeaDronesSee. The color shading specifies the size of the synthetic data set that was used for pre-training.