[논문 리뷰] Generating High Quality Visible Images from SAR Images Using CNNs

Puyang Wang, Vishal M. Patel|arXiv (Cornell University)|2018. 02. 27.

Image and Signal Denoising Methods참고 문헌 23인용 수 7

한 줄 요약

이 논문은 산란 잡음이 있는 SAR 이미지에서 고해상도의 가시광선 유사 RGB 이미지를 생성하기 위해 복합 CNN 아키텍처를 결합한 딥러닝 프레임워크인 SAR-GAN을 제안한다. 이는 탈잡음 및 색상화를 동시에 수행하며, GAN 기반의 적대적 손실을 활용하여 기존 최고 수준의 방법들보다 PSNR, SSIM 및 주관적 품질 측면에서 더 뛰어난 탈잡음 및 현실적인 색상화 성능을 달성한다. 이는 합성 및 실제 SAR 데이터에서 모두 성능을 뛰어나게 한다.

ABSTRACT

We propose a novel approach for generating high quality visible-like images from Synthetic Aperture Radar (SAR) images using Deep Convolutional Generative Adversarial Network (GAN) architectures. The proposed approach is based on a cascaded network of convolutional neural nets (CNNs) for despeckling and image colorization. The cascaded structure results in faster convergence during training and produces high quality visible images from the corresponding SAR images. Experimental results on both simulated and real SAR images show that the proposed method can produce visible-like images better compared to the recent state-of-the-art deep learning-based methods.

연구 동기 및 목표

• SAR 이미지의 해석 곤란 문제를 해결하기 위해, 산란 잡음으로 인해 떨어지며 색상 정보가 부족한 이미지의 문제를 해결하고자 한다.
• 동시에 산란 잡음 제거와 현실적인 색상 추가를 수행하는 딥러닝 기반의 방법을 개발하고자 한다.
• 인간 및 컴퓨터 비전 시스템의 의미론적 해석 및 시각적 품질 향상을 위해 SAR 이미지의 품질을 향상시키고자 한다.
• 기존 최고 수준의 방법들보다 탈잡음 및 색상화 성능에서 뛰어난 성능을 내는 것을 목표로 한다.

제안 방법

• 이 방법은 두 개의 하위 네트워크인 탈잡음 네트워크 $G_D$ 와 색상화 네트워크 $G_C$ 를 가진 복합 생성 적대적 네트워크(GAN)를 사용한다.
• 생성자 $G$ 는 $G = G_C \circ G_D$ 로 정의되며, 여기서 $G_D$ 는 입력 SAR 이미지를 탈잡음 처리하고, $G_C$ 는 탈잡음된 이미지를 RGB 가시광선 유사 이미지로 변환한다.
• 실제감을 향상시키기 위해 적대적 훈련을 통해 다양하고 자연스러운 색상 분포를 유도하기 위해 판별자 네트워크 $D$ 가 사용된다.
• 픽셀 수준의 정확성과 주관적 품질의 균형을 맞추기 위해 $L_1$ 손실과 적대적 손실의 조합을 사용하여 모델을 훈련시킨다.
• 탈잡음 네트워크는 이전의 SAR 복원 작업에서 유도된 것으로, 효과적인 잡음 억제를 보장한다.
• 색상화 네트워크는 조건부 GAN의 구조를 활용하여 회색조 탈잡음 이미지를 현실적인 RGB 출력으로 매핑하도록 훈련된다.

실험 결과

연구 질문

• RQ1 복합 CNN-GAN 아키텍처는 산란 잡음이 있는 SAR 입력에서 고품질의 가시광선 유사 이미지를 효과적으로 생성할 수 있는가?
• RQ2 적대적 훈련을 통합할 경우, $L_1$-단일 손실 방법에 비해 생성된 가시광선 이미지의 현실감과 주관적 품질이 향상되는가?
• RQ3 정량적 지표와 시각적 정밀도 측면에서 제안된 방법은 최고 수준의 탈잡음 및 색상화 기법들과 비교해 어떤가?
• RQ4 이 방법은 실제 세계의 SAR 데이터에 일반화되어 해석 가능하고 현실적으로 보이는 출력을 생성할 수 있는가?

주요 결과

• 합성 SAR 이미지에서 $L=1$ 인 경우, SAR-GAN은 PSNR 24.74 dB, SSIM 0.727, UQI 0.621 을 기록하여 모든 기준선을 초월했다.
• $L=4$ 인 경우, SAR-GAN은 PSNR 26.89 dB, SSIM 0.818, UQI 0.723 을 기록하여 중간 수준의 잡음에서도 뛰어난 성능을 보였다.
• $L=10$ 인 경우, SAR-GAN은 PSNR 28.07 dB, SSIM 0.853, UQI 0.765 를 기록하여 낮은 잡음 조건에서 뛰어난 탈잡음 및 색상화 성능을 보였다.
• SAR-GAN의 탈잡음 향상도(DG)는 $L=10$ 에서 17.35 로, SAR-BM3D(13.61) 보다 뚜렷하게 높아 우수한 잡음 억제 성능을 입증했다.
• 합성 데이터에 대한 시각적 비교 결과, $L_1$ 손실만 사용하거나 SAR-BM3D 사전 처리를 한 방법에 비해 SAR-GAN은 더 적은 잡음과 더 자연스러운 색상 분포를 생성했다.
• RADARSAT-1 로부터 확보한 실제 SAR 데이터에서, SAR-GAN은 해당하는 옵티컬 위성 이미지와 구조 및 색상 측면에서 유사한 가시광선 유사 이미지를 생성하여 실제 적용 가능성의 타당성을 입증했다.