[논문 리뷰] Cloud Removal for Remote Sensing Imagery via Spatial Attention Generative Adversarial Network

Heng Pan|arXiv (Cornell University)|2020. 09. 28.

Image Enhancement Techniques참고 문헌 20인용 수 64

한 줄 요약

이 논문은 SpA GAN을 소개한다. 공간 주의 기반 GAN 프레임워크를 활용하여 고해상도 원격탐사 영상의 구름을 제거하고, 구름 없는 이미지를 더 향상된 품질로 생성한다.

ABSTRACT

Optical remote sensing imagery has been widely used in many fields due to its high resolution and stable geometric properties. However, remote sensing imagery is inevitably affected by climate, especially clouds. Removing the cloud in the high-resolution remote sensing satellite image is an indispensable pre-processing step before analyzing it. For the sake of large-scale training data, neural networks have been successful in many image processing tasks, but the use of neural networks to remove cloud in remote sensing imagery is still relatively small. We adopt generative adversarial network to solve this task and introduce the spatial attention mechanism into the remote sensing imagery cloud removal task, proposes a model named spatial attention generative adversarial network (SpA GAN), which imitates the human visual mechanism, and recognizes and focuses the cloud area with local-to-global spatial attention, thereby enhancing the information recovery of these areas and generating cloudless images with better quality...

연구 동기 및 목표

• 고정밀 분석을 위한 구름 없는 고해상도 원격탐사 영상의 필요성을 동기 부여한다.
• 대규모 원격탐사 데이터에 적합한 딥러닝 기반 구름 제거 방법을 개발한다.
• 구름 영역에 집중하고 정보 복구를 개선하기 위해 공간 주의를 통합한다.
• GAN 프레임워크 내의 공간 주의가 더 우수한 구름 없는 출력을 낳는지 입증한다.

제안 방법

• 원격탐사 영상에서 구름 제거를 위한 공간 주의 생성적 적대 신경망(SpA GAN)을 제안한다.
• 지역-에서 글로벌까지의 공간 주의를 통합하여 구름 영역을 식별하고 집중한다.
• 현실적이고 구름 없는 출력을 만들도록 적대적 학습(adversarial training)을 활용한다.
• 가려진 영역에서 정보 복구를 향상시키기 위해 인간 시각 메커니즘을 모방한다.
• 끝에서 끝으로 학습하여 시각적 충실도가 향상된 구름 없는 위성 영상을 생성한다.

실험 결과

연구 질문

• RQ1 GAN 프레임워크 내의 공간 주의가 원격탐사 영상의 구름을 효과적으로 식별하고 제거할 수 있는가?
• RQ2 SpA GAN이 벤치마크 방법들에 비해 구름 없는 출력의 시각적 품질과 충실도를 향상시키는가?
• RQ3 로컬-에서 글로벌 주의가 고해상도 영상에서 구름으로 덮인 영역의 회복에 어떤 영향을 미치는가?

주요 결과

• SpA GAN은 구름 영역에 공간 주의를 사용하여 정보 복구를 개선한다.
• 모델은 추상적 비교 방법들보다 더 높은 품질의 구름 없는 이미지를 생성한다.
• 적대적 학습은 시각적으로 현실적인 구름 없는 출력을 생성하는 데 도움이 된다.