[논문 리뷰] Image Augmentation for Satellite Images

Oluwadara Adedeji, Peter Owoade외 2명|arXiv (Cornell University)|2022. 07. 29.

Remote-Sensing Image Classification인용 수 6

한 줄 요약

이 연구는 Land Use and Land Cover (LULC) 분류에서 데이터 증강을 위해 GANs—특히 DCGAN과 WGAN-GP—를 사용하여 합성 위성 이미지를 생성하는 것을 제안한다. 연구 결과, GAN으로 생성된 이미지가 성능 저하 없이 모델의 일반화 능력을 향상시키며, 기하학적 증강 기법과 조합할 경우 단독으로 사용할 경우보다 더 나은 성능을 내는 것으로 나타났다.

ABSTRACT

This study proposes the use of generative models (GANs) for augmenting the EuroSAT dataset for the Land Use and Land Cover (LULC) Classification task. We used DCGAN and WGAN-GP to generate images for each class in the dataset. We then explored the effect of augmenting the original dataset by about 10% in each case on model performance. The choice of GAN architecture seems to have no apparent effect on the model performance. However, a combination of geometric augmentation and GAN-generated images improved baseline results. Our study shows that GANs augmentation can improve the generalizability of deep classification models on satellite images.

연구 동기 및 목표

• 유로SAT 데이터셋을 중심으로 위성 이미지 분류에서 훈련 데이터가 제한된 문제를 해결하기 위해.
• 생성 모델인 GANs가 현실적인 합성 위성 이미지를 생성하여 모델의 강건성 향상에 기여할 수 있는지 조사하기 위해.
• 伝통적인 기하학적 증강 기법과 비교하여 GAN으로 생성된 이미지가 모델 성능에 미치는 영향을 평가하기 위해.
• DCGAN과 WGAN-GP와 같은 다양한 GAN 아키텍처가 분류 정확도에 유의미한 차이를 초래하는지 확인하기 위해.
• 낮은 데이터 환경에서 일반화 능력을 향상시키기 위해 GAN 증강과 기하학적 증강을 조합할 잠재력을 탐색하기 위해.

제안 방법

• 각 10개의 지형 이용 유형에 대해 EuroSAT 데이터셋에서 DCGAN과 WGAN-GP를 훈련하여 합성 위성 이미지를 생성하였다.
• 각 클래스의 원본 훈련 세트에 GAN으로 생성된 이미지를 추가하여 10%의 데이터 증강 비율을 적용하였다.
• 기본적인 기하학적 증강 기법(예: 반전, 회전, 줌)과 GAN으로 생성된 이미지를 조합하여 하이브리드 증강 데이터셋을 만들었다.
• 교차 엔트로피 손실과 Adam 최적화를 사용하여 VGG16과 ResNet50 모델을 원본 및 증강된 데이터셋에서 훈련시켰다.
• 훈련 안정성을 위해 조기 정지와 학습률 스케줄링을 적용하였으며, 25개의 훈련 에포크 동안 검증 정확도를 모니터링하였다.
• 테스트 세트의 정확도를 사용하여 성능을 평가하였으며, 기준 모델, GAN 증강 모델, 기하학적 증강 모델의 구성 간 비교를 수행하였다.

실험 결과

연구 질문

• RQ1 GAN으로 생성된 위성 이미지로 유로SAT 데이터셋을 증강하면 LULC 작업의 분류 정확도가 향상되는가?
• RQ2 데이터 증강에 DCGAN과 WGAN-GP를 사용할 경우 모델 성능에 유의미한 차이가 존재하는가?
• RQ3 GAN 기반 증강과 기하학적 증강을 조합할 경우 단독으로 사용할 경우와 비교해 모델의 일반화 능력에 어떤 영향을 미치는가?
• RQ4 GAN 기반 증강은 소규모 위성 이미지 데이터셋에서 훈련된 딥 러닝 모델의 과적합을 줄이는 데 기여하는가?
• RQ5 GAN으로 생성된 이미지는 원격 감지 애플리케이션에서 전통적인 데이터 증강의 대안 또는 보완으로 유용한가?

주요 결과

• GAN 증강 데이터셋은 원본 데이터셋과 비교해 유사하거나 略로 향상된 테스트 정확도를 기록하였으며, 성능 저하 없이 성능을 유지하였다.
• DCGAN과 WGAN-GP 간의 선택이 모델 정확도에 유의미한 영향을 주지 않아, 두 모델 모두 작업에 적합한 품질의 이미지를 생성하는 것으로 나타났다.
• 기하학적 증강과 GAN으로 생성된 이미지를 조합한 결과, 기하학적 증강만을 사용한 경우보다 더 나은 성능을 기록하여 상호보완적 효과가 있음을 확인하였다.
• 제한된 데이터 환경에서 GAN 증강의 성능 향상 효과가 가장 두드러졌으며, 이는 과적합을 줄이고 모델의 일반화 능력을 향상시키기 때문이다.
• 높은 기준 정확도(예: ResNet50의 경우 99.04%)를 기록한 상황에서도 GAN 증강이 성능 저하 없이 작동하여 생성된 이미지의 품질이 높다는 점을 확인하였다.
• 결과적으로, GAN 기반 데이터 증강은 낮은 데이터 환경에서 딥 러닝 모델의 성능 향상에 실용적이고 효과적인 전략임을 시사한다.