[논문 리뷰] Can Synthetic Data Improve Object Detection Results for Remote Sensing Images?

Weixing Liu, Jun Liu외 1명|arXiv (Cornell University)|2020. 06. 09.

Advanced Neural Network Applications참고 문헌 19인용 수 6

한 줄 요약

이 논문은 원격 감지 객체 검출을 위한 합성 데이터 증강 파이프라인을 제안하며, 렲영 매개변수를 무작위로 설정하고 실재의 레이블이 없는 이미지를 사용해 CycleGAN으로 보정함으로써 다양한 실재감 있는 합성 항공기 이미지를 생성한다. 최소한의 실재 데이터로 미세조정을 수행함으로써 NWPU VHR-10, UCAS-AOD, DIOR 데이터셋에서 객체 검출 정확도가 크게 향상되며, 이는 합성 데이터가 비용이 많이 드는 실재 레이블에 대한 의존도를 효과적으로 줄일 수 있음을 보여준다.

ABSTRACT

Deep learning approaches require enough training samples to perform well, but it is a challenge to collect enough real training data and label them manually. In this letter, we propose the use of realistic synthetic data with a wide distribution to improve the performance of remote sensing image aircraft detection. Specifically, to increase the variability of synthetic data, we randomly set the parameters during rendering, such as the size of the instance and the class of background images. In order to make the synthetic images more realistic, we then refine the synthetic images at the pixel level using CycleGAN with real unlabeled images. We also fine-tune the model with a small amount of real data, to obtain a higher accuracy. Experiments on NWPU VHR-10, UCAS-AOD and DIOR datasets demonstrate that the proposed method can be applied for augmenting insufficient real data.

연구 동기 및 목표

• 깊이 학습 성능을 제한하는 원격 감지 이미지의 레이블이 부족한 문제를 해결하기 위해.
• 비용이 많이 들고 시간이 오래 걸리는 실재 원격 감지 데이터의 수동 레이블링에 대한 의존도를 줄이기 위해.
• 실제 세계의 변동성과 외관을 효과적으로 모방하는 합성 데이터를 사용하여 객체 검출 성능을 향상시키기 위해.
• 표준 원격 감지 벤치마크에서 합성 데이터 증강과 미세조정의 유효성을 검증하기 위해.

제안 방법

• 객체 크기와 배경 클래스와 같은 레이어링 매개변수를 무작위로 설정하여 렌더링 엔진을 사용해 합성 항공기 이미지를 생성함으로써 다양성을 증가시킨다.
• 레이어링된 데이터를 실재의 레이블이 없는 이미지를 사용해 CycleGAN을 통해 픽셀 수준에서 보정함으로써 합성 이미지를 실재 원격 감지 이미지와 유사하게 만든다.
• 합성 데이터 사전 훈련 후, 소량의 실재 레이블 데이터를 사용해 사전 훈련된 객체 검출기를 미세조정하여 실재 분포에 적응시킨다.
• 합성 이미지와 실재 이미지 간의 도메인 갭을 해소하기 위해 CycleGAN을 통한 도메인 적응을 활용한다.
• 이 파이프라인은 세 가지 벤치마크 데이터셋—NWPU VHR-10, UCAS-AOD, DIOR—에서 평가된다.

실험 결과

연구 질문

• RQ1 랜덤화된 렌더링 매개변수를 가진 합성 데이터는 원격 감지 객체 검출기의 일반화 성능을 향상시킬 수 있는가?
• RQ2 CycleGAN 기반의 이미지 번역은 얼마나 실재감 있는 원격 감지 합성 이미지를 향상시킬 수 있는가?
• RQ3 합성 데이터로 사전 훈련한 모델을 소량의 실재 데이터로 미세조정하면 실재 데이터로만 훈련하는 것보다 더 높은 검출 성능을 낼 수 있는가?
• RQ4 제안된 방법은 표준 원격 감지 검출 벤치마크에서 기준 실재 데이터 전용 훈련과 비교해 어떻게 성능을 내는가?

주요 결과

• 제안된 방법은 실재 데이터로만 훈련하는 것과 비교해, NWPU VHR-10, UCAS-AOD, DIOR 세 벤치마크 데이터셋 모두에서 뚜렷한 성능 향상을 달성한다.
• 합성 데이터 사전 훈련 후 실재 훈련 데이터의 10%만으로도 미세조정을 수행하면, 합성 데이터 없이 전체 실재 데이터셋으로만 훈련하는 것보다 더 높은 mAP를 달성한다.
• CycleGAN을 통한 이미지 보정은 합성 이미지와 실재 이미지 간의 도메인 갭을 줄여 모델의 일반화 능력을 향상시킨다.
• 합성 과정에서 렌더링 매개변수를 랜덤화하는 것은 스케일과 배경의 다양성을 효과적으로 증가시켜 모델의 강인성을 향상시킨다.