[논문 리뷰] Artificial Generation of Big Data for Improving Image Classification: A Generative Adversarial Network Approach on SAR Data

Dimitrios Marmanis, Wei Yao외 6명|arXiv (Cornell University)|2017. 11. 06.

Synthetic Aperture Radar (SAR) Applications and TechniquesEngineering참고 문헌 8인용 수 17

한 줄 요약

이 논문은 7개의 도시 및 근도시 클래스를 포함해 60,000개 이상의 패치를 포함한 최초의 대규모, 완전히 애너테이션 처리된 SAR 영상 데이터셋을 소개하며, ResNet-50를 사용한 딥러닝 분류 성능 평가에서 93.2%의 정확도를 달성한다. 또한 수정된 BEGAN 모델을 활용한 GAN 기반 합성 데이터 생성을 통해 훈련을 보완하고자 하였지만, 시각적으로 현실적인 합성 결과에도 불구하고 분류 성능 향상이 관찰되지 않았다.

ABSTRACT

Very High Spatial Resolution (VHSR) large-scale SAR image databases are still an unresolved issue in the Remote Sensing field. In this work, we propose such a dataset and use it to explore patch-based classification in urban and periurban areas, considering 7 distinct semantic classes. In this context, we investigate the accuracy of large CNN classification models and pre-trained networks for SAR imaging systems. Furthermore, we propose a Generative Adversarial Network (GAN) for SAR image generation and test, whether the synthetic data can actually improve classification accuracy.

연구 동기 및 목표

• 원격 감시 분야의 딥러닝을 위한 대규모, 완전히 애너테이션 처리된 SAR 영상 데이터셋 부족 문제를 해결하기 위해.
• 매우 고해상도 SAR 데이터에 대해 패치 기반 분류를 위한 딥 컨volution 네트워크(CNN), 특히 ResNet-50의 성능을 평가하기 위해.
• GAN을 통해 생성한 합성 SAR 영상이 분류 정확도 향상에 기여할 수 있는지 조사하기 위해.
• 광학 기반 사전 훈련 모델에서의 전이 학습을 탐색하고, SAR 영상 분류에 대한 그 유의미성과 관련성을 평가하기 위해.
• 실제 SAR 영상 합성에 적합한 GAN 기반 접근법(BEGAN)을 개발하고 스케일에 맞게 적응시키기 위해.

제안 방법

• 6개 대륙에 걸쳐 288개의 TerraSAR-X 영상에서 유도된 대규모 SAR 영상 데이터셋 구축. HH-편광, 2.9m 해상도, 160×160 픽셀 패치 사용.
• 실제 데이터셋에서부터 ResNet-50 분류기의 훈련을 시작하여, 최종 레이어를 7개 클래스 분류에 맞게 조정.
• SAR 영상 생성을 위해 BEGAN GAN 아키텍처를 적응. 세 가지 시나리오에서 테스트: 전체 크기(160×160), 중간 크기(80×80, 다운샘플링 적용), 단순(80×80, 자르기 적용).
• 단순 시나리오에서 생성한 합성 패치를 160×160로 업샘플링하여 실재 훈련 세트에 추가하고 분류기의 미세조정 수행.
• 합성 SAR 영상으로의 데이터 증강 이전 및 이후의 분류 정확도 평가.
• 8비트 강도 변환 및 공간적 자르기/다운샘플링을 통해 GAN 및 분류기 훈련을 위한 입력 표준화.

실험 결과

연구 질문

• RQ1 대규모, 완전히 애너테이션 처리된 SAR 영상 데이터셋은 고성능 딥러닝 기반 분류를 가능하게 할 수 있는가?
• RQ2 SAR 데이터에 대해 사전 훈련된 ResNet-50를 미세조정하는 것이 광학 기반 사전 훈련 모델에서의 전이 학습보다 우수한 성능을 내는가?
• RQ3 GAN를 통해 생성된 합성 SAR 영상이 실재 훈련 데이터를 효과적으로 보완하여 분류 정확도 향상에 기여할 수 있는가?
• RQ4 현재의 GAN 아키텍처는 대규모에서 실감나는 SAR 영상 패치를 생성하는 데에 어떤 한계를 지닌다?
• RQ5 합성 데이터의 공간적 맥락 및 해상도 불일치가 후속 분류 성능에 어떤 영향을 미치는가?

주요 결과

• 60,000개 이상의 SAR 영상 패치를 포함한 제안된 데이터셋은 최신 기술 수준의 성능을 달성하는 딥 컨volution 네트워크 훈련을 가능하게 하였으며, 7개의 의미적 클래스에서 93.2%의 분류 정확도를 달성하였다.
• 광학 영상에서의 사전 훈련 가중치를 사용한 전이 학습은 거의 유의미한 성능 향상을 제공하지 않아, 광학 영상과 SAR 영상 통계 간의 상당한 도메인 이동이 있음을 시사한다.
• 단순 시나리오에서 BEGAN 기반 GAN은 80×80 자르기 패치를 활용해 현실적으로 보이는 SAR 패치를 성공적으로 생성하였지만, 공간적 맥락은 감소하였다.
• 시각적으로 구현 가능한 합성 영상에도 불구하고, 주로 '주거지' 클래스에 해당하는 5,100개의 합성 패치를 추가한 결과, 분류기의 정확도는 93.2%로 그대로 유지되었으며 향상 또는 악화되지 않았다.
• 성능 향상이 이루어지지 않은 것은, 시각적 현실성에도 불구하고 현재의 합성 데이터가 분류기에 유익한 정도의 다양성이나 의미적 정확성을 갖추지 못하고 있음을 시사한다.
• 본 연구는 충분한 레이블이 부여된 데이터가 확보될 경우 딥러닝 모델이 SAR 데이터에서 높은 정확도를 달성할 수 있음을 확인하였으며, 패치 기반 SAR 분류 분야의 새로운 기준을 설정하였다.