[논문 리뷰] Unsupervised Denoising for Satellite Imagery using Wavelet Subband CycleGAN

Joonyoung Song, Jaeheon Jeong외 4명|arXiv (Cornell University)|2020. 02. 23.

Image and Signal Denoising Methods참고 문헌 30인용 수 8

한 줄 요약

이 논문은 쌍체의 노이즈-클린 이미지 데이터가 필요하지 않은 다중 스펙트럼 위성 영상에 대한 비지도 노이즈 제거 방법인 WavCycleGAN을 제안한다. 이 방법은 웨이블릿 주파수 대역 분해와 사이클-일致하는 적대적 신경망을 활용하여 수직 스트라이프 노이즈나 웨이브 노이즈와 같은 구조적 노이즈를 제거한다. PSNR와 SSIM 측정치에서 표준 CycleGAN 및 모델 기반 방법보다 뛰어난 성능을 보이며, 가장자리나 질감과 같은 고주파 성분을 잘 유지한다.

ABSTRACT

Multi-spectral satellite imaging sensors acquire various spectral band images such as red (R), green (G), blue (B), near-infrared (N), etc. Thanks to the unique spectroscopic property of each spectral band with respective to the objects on the ground, multi-spectral satellite imagery can be used for various geological survey applications. Unfortunately, image artifacts from imaging sensor noises often affect the quality of scenes and have negative impacts on the applications of satellite imagery. Recently, deep learning approaches have been extensively explored for the removal of noises in satellite imagery. Most deep learning denoising methods, however, follow a supervised learning scheme, which requires matched noisy image and clean image pairs that are difficult to collect in real situations. In this paper, we propose a novel unsupervised multispectral denoising method for satellite imagery using wavelet subband cycle-consistent adversarial network (WavCycleGAN). The proposed method is based on unsupervised learning scheme using adversarial loss and cycle-consistency loss to overcome the lack of paired data. Moreover, in contrast to the standard image domain cycleGAN, we introduce a wavelet subband domain learning scheme for effective denoising without sacrificing high frequency components such as edges and detail information. Experimental results for the removal of vertical stripe and wave noises in satellite imaging sensors demonstrate that the proposed method effectively removes noises and preserves important high frequency features of satellite images.

연구 동기 및 목표

• 쌍체의 노이즈-클린 이미지 데이터셋 부족으로 인한 비지도 다중 스펙트럼 위성 영상 노이즈 제거 과제를 해결하기 위해.
• 표준 영상 도메인 방법에서 자주 흐려지는 가장자리나 미세 질감과 같은 고주파 영상 성분을 유지하면서 노이즈 제거 성능을 향상시키기 위해.
• 감독 학습 기반 딥러닝 및 전통적인 모델 기반 노이즈 제거의 한계를 극복하기 위해, 비지도 환경에서 적대적 학습과 사이클-일치 손실을 활용하기 위해.
• 위성 영상에서 관찰되는 방향성 노이즈 패턴을 효과적으로 활용하기 위해, 웨이블릿 주파수 대역 도메인에서 Cycle-GAN을 적용하여 노이즈 성분을 더 잘 분리하고 제거하기 위해.

제안 방법

• 이 방법은 입력 영상을 여러 주파수 대역으로 분해하기 위해 웨이블릿 주파수 대역 분해를 활용하여 특정 주파수 성분에서의 노이즈 억제를 가능하게 한다.
• 쌍체 데이터 없이도 노이즈 영상 분포에서 정제된 영상 분포로의 매핑을 학습하기 위해, 웨이블릿 주파수 대역 도메인에서 사이클-일치하는 적대적 신경망(CycleGAN)을 적용한다.
• 적대적 손실을 통해 현실적인 정제된 출력을 생성하고, 사이클-일치 손실을 통해 재구성된 영상가 원래 분포로 다시 매핑될 수 있도록 보장함으로써 모드 붕괴를 줄인다.
• 웨이블릿 주파수 대역 접근 방식은 특히 수직 스트라이프나 파도 패턴과 같은 방향성 노이즈 성분을 고립시키면서도, 가장자리와 같은 고주파 성분의 에너지를 유지한다.
• 학습 과정에서는 합성 노이즈 영상과 모델 기반 정제 영상 결과를 정제된 영상의 대체 자료로 사용하여 비지도 사전 학습을 가능하게 한다.
• 최종적으로, 역웨이블릿 변환을 사용하여 정제된 주파수 대역에서 영상을 재구성함으로써 노이즈 제거를 수행한다.

실험 결과

연구 질문

• RQ1 쌍체의 노이즈-클린 이미지 데이터셋이 없이도 비지도 딥러닝 방법이 다중 스펙트럼 위성 영상의 노이즈 제거에 효과적으로 작용할 수 있는가?
• RQ2 표준 영상 도메인의 CycleGAN 대비 웨이블릿 주파수 대역 도메인 학습이 고주파 영상 세부 정보 유지 측면에서 노이즈 제거 성능을 향상시키는가?
• RQ3 웨이블릿 도메인에서 사이클-일치하는 적대적 학습이 수직 스트라이프나 웨이브 노이즈와 같은 구조적 노이즈 패턴을 효과적으로 억제하면서 잡음이나 왜곡을 유발하지 않는가?
• RQ4 제안된 WavCycleGAN은 PSNR와 SSIM 측정치에서 전통적인 모델 기반 노이즈 제거 및 표준 CycleGAN과 비교해 정량적으로 어떻게 성능을 냈는가?
• RQ5 정제된 쌍체 데이터가 전혀 없을 경우, 웨이블릿 도메인에서의 비지도 학습이 감독 기반 기준 모델을 능가할 수 있는가?

주요 결과

• WavCycleGAN은 수직 스트라이프 노이즈 제거에서 평균 PSNR 66.17 dB, SSIM 0.99988를 기록하여 CycleGAN(63.36 dB, 0.99977)과 모델 기반 방법(63.11 dB, 0.99961)을 모두 능가했다.
• 웨이브 노이즈의 경우 WavCycleGAN은 평균 PSNR 57.32 dB, SSIM 0.99752를 기록하여 CycleGAN(56.55 dB, 0.99789)과 모델 기반 방법(53.67 dB, 0.99639)을 초월했다.
• 시각적 결과에서는 WavCycleGAN이 미세한 세부 정보와 가장자리를 잘 유지한 반면, 모델 기반 방법은 특히 구름과 같은 복잡한 환경에서 뿌연 결과를 보였다.
• WavCycleGAN은 잡음이나 구조적 특징 왜곡 없이 수직 스트라이프나 웨이브 노이즈와 같은 방향성 노이즈 패턴을 효과적으로 제거했다.
• 모델 기반 결과를 정제된 데이터의 대체 자료로 사용했음에도 불구하고, WavCycleGAN은 모델 기반 방법 자체보다 더 뛰어난 성능을 기록하여 분포 매칭의 우수성을 입증했다.
• 수직 스트라이프 및 웨이브 노이즈 시나리오 양쪽 모두에서 WavCycleGAN은 모든 테스트 씬에서 가장 높은 PSNR와 SSIM를 지속적으로 확보하여 그 강건성과 우수성을 확인했다.