[논문 리뷰] A Practical Solution for SAR Despeckling with Only Single Speckled Images

Ye Yuan, Jianguo Sun외 3명|arXiv (Cornell University)|2019. 12. 13.

Image and Signal Denoising Methods인용 수 5

한 줄 요약

이 논문은 청소된 이미지나 쌍화된 스펙클 데이터가 필요로 하지 않는 실용적인 SAR 탈스펙클링 방법(PSD)을 제안한다. 단일 스펙클된 SAR 이미지만을 사용하며, 합성 스펙클-스펙클(S2S) 이미지 쌍을 생성하기 위해 적대적 학습 프레임워크를 활용하고, Noise2Noise를 통해 수정된 Nested-UNet을 훈련시켜 강력한 탈스펙클링 성능을 달성하며, 효과적인 에지 보존과 스펙클 억제를 실현한다.

ABSTRACT

In this letter, we aim to address synthetic aperture radar (SAR) despeckling problem with the necessity of neither clean (speckle-free) SAR images nor independent speckled image pairs from the same scene, a practical solution for SAR despeckling (PSD) is proposed. Firstly, to generate speckled-to-speckled (S2S) image pairs from the same scene in the situation of only single speckled SAR images are available, an adversarial learning framework is designed. Then, the S2S SAR image pairs are employed to train a modified despeckling Nested-UNet model using the Noise2Noise (N2N) strategy. Moreover, an iterative version of the PSD method (PSDi) is also proposed. The performance of the proposed methods is demonstrated by both synthetic speckled and real SAR data. SAR block-matching 3-D algorithm (SAR-BM3D) and SAR dilated residual network (SAR-DRN) are used in the visual and quantitative comparison. Experimental results show that the proposed methods can reach a good tradeoff between speckle suppression and edge preservation.

연구 동기 및 목표

• 청소된 SAR 이미지나 쌍화된 스펙클 이미지가 없는 실용적인 상황에서 SAR 탈스펙클링 문제를 해결하기 위해.
• 청소된 이미지나 쌍화된 데이터가 없이도 단일 스펙클된 SAR 이미지만을 입력으로 사용할 수 있는 방법을 개발하기 위해.
• 스펙클 감소와 세부 이미지 세부 정보(예: 에지) 보존 사이의 균형을 이루기 위해.
• 쌍화된 데이터나 기준 청소된 이미지에 의존하지 않도록 하여, 실제 SAR 응용에서 흔히 확보가 어려운 문제를 해결하기 위해.

제안 방법

• 단일 입력 스펙클된 SAR 이미지에서 합성 스펙클-스펙클(S2S) 이미지 쌍을 생성하기 위해 적대적 학습 프레임워크를 설계하였다.
• 생성된 S2S 쌍을 이용해 청소된 기준 이미지가 없는 Noise2Noise(N2N) 훈련 전략을 활용해 수정된 Nested-UNet 모델을 훈련시켰다.
• 특징 학습과 기울기 흐름을 향상시키기 위해 스킵 연결과 네스팅된 잔여 블록을 핵심 아키텍처로 활용하였다.
• 다중 추론 프로세스를 통해 결과를 더욱 정교하게 다듬는 반복적 변형인 PSDi를 제안하였다.
• 적대적 구성 요소는 생성된 S2S 쌍에서 스펙클 패턴의 현실감 있는 분포를 보장하여 일반화 능력을 향상시켰다.
• 단일 스펙클 입력만을 사용하여 엔드 투 엔드로 훈련되기 때문에 실세계 적용에 적합하다.

실험 결과

연구 질문

• RQ1 청소된 기준 이미지나 쌍화된 데이터가 없이도 단일 스펙클된 SAR 이미지만으로 효과적인 SAR 탈스펙클링을 달성할 수 있는가?
• RQ2 단일 입력 이미지에서 적대적 프레임워크가 효과적으로 현실적인 S2S 이미지 쌍을 생성하여 자기지도 학습을 가능하게 할 수 있는가?
• RQ3 수정된 Nested-UNet에 기반한 Noise2Noise 훈련이 스펙클 노이즈를 억제하면서도 에지를 얼마나 잘 보존하는가?
• RQ4 반복적 정밀화(PSDi)는 비반복 버전 대비 탈스펙클링 성능을 얼마나 향상시키는가?
• RQ5 최신 기술 대비 제안된 방법은 스펙클 억제와 에지 보존 사이에서 어떤 성능 트레이드오프를 보이는가?

주요 결과

• 제안된 PSD 방법은 스펙클 억제와 에지 보존 사이에 유리한 균형을 달성하여, 시각적 평가와 정량적 평가 모두에서 전통적 방법보다 뛰어난 성능을 보였다.
• 적대적으로 생성된 S2S 쌍의 사용은 청소된 SAR 이미지나 쌍화된 데이터가 없이도 효과적인 자기지도 학습을 가능하게 하였다.
• 반복적 버전(PSDi)은 탈스펙클링 성능을 추가로 향상시켜 다단계 정밀화의 이점을 입증하였다.
• 정량적 비교 결과, 합성 및 실제 SAR 데이터 모두에서 경쟁적인 성능을 달성하였으며, 구조적 유사도는 향상되고 평균 제곱 오차는 감소하였다.
• 실제 SAR 데이터에 대한 실험을 통해 제안된 방법은 합성 훈련 데이터를 초월한 강력한 일반화 능력을 보였다.
• SAR-BM3D 및 SAR-DRN과의 시각적 비교를 통해 제안된 방법이 더 효과적으로 미세 질감과 구조적 세부 정보를 보존하는 것으로 확인되었다.