[논문 리뷰] Despeckling Polarimetric SAR Data Using a Multi-Stream Complex-Valued Fully Convolutional Network

Adugna Mullissa, Claudio Persello외 1명|arXiv (Cornell University)|2021. 03. 12.

Synthetic Aperture Radar (SAR) Applications and Techniques참고 문헌 22인용 수 29

한 줄 요약

이 논문은 이중 펄스라르 데이터의 복소수 공분산 행렬을 직접 처리하는 다중 스트림 복소수 전이기 네트워크인 CV-deSpeckNet을 제안한다. 이는 로그 도메인에서 스펙클을 가감성 노이즈로 모델링하며, 실수부와 허수부를 분리하지 않고 공동의 실수-허수 표현을 학습함으로써, 더 적은 학습 샘플과 더 높은 일반화 능력을 갖춘 실수형 대비 및 최신 기법보다 뛰어난 탈스펙클링 성능을 달성한다. 이로 인해 PSNR, SSIM, ENL 값이 높아지고, 펄스라르 특징이 유지된다.

ABSTRACT

A Polarimetric Synthetic Aperture Radar (PolSAR) sensor is able to collect images in different polarization states, making it a rich source of information for target characterization. PolSAR images are inherently affected by speckle. Therefore, before deriving ad hoc products from the data, the polarimetric covariance matrix needs to be estimated by reducing speckle. In recent years, deep learning based despeckling methods have started to evolve from single channel SAR images to PolSAR images. To this aim, deep learning based approaches separate the real and imaginary components of the complex-valued covariance matrix and use them as independent channels in a standard convolutional neural networks. However, this approach neglects the mathematical relationship that exists between the real and imaginary components, resulting in sub-optimal output. Here, we propose a multi-stream complex-valued fully convolutional network to reduce speckle and effectively estimate the PolSAR covariance matrix. To evaluate the performance of CV-deSpeckNet, we used Sentinel-1 dual polarimetric SAR images to compare against its real-valued counterpart, that separates the real and imaginary parts of the complex covariance matrix. CV-deSpeckNet was also compared against the state of the art PolSAR despeckling methods. The results show CV-deSpeckNet was able to be trained with a fewer number of samples, has a higher generalization capability and resulted in a higher accuracy than its real-valued counterpart and state-of-the-art PolSAR despeckling methods. These results showcase the potential of complex-valued deep learning for PolSAR despeckling.

연구 동기 및 목표

• 실수형 딥러닝 방법이 복소수 공분산 행렬의 실수부와 허수부를 분리함으로써 그 수학적 관계를 忽略하는 한계를 해결하기 위해.
• 탈스펙클 과정에서 PolSAR 공분산 행렬의 내재적 구조를 유지할 수 있는 복소수 신경망 아키텍처를 개발하기 위해.
• 다중 스트림 전이기 신경망 프레임워크를 활용해 복소수 특징 학습을 통해 일반화 능력을 향상시키고 학습 데이터 요구량을 줄이기 위해.
• 정량적 지표와 시각적 품질 모두에서 기존 최신 기법들을 능가하는 PolSAR 탈스펙클 방법을 개발하기 위해.

제안 방법

• 로그 변환된 공분산 행렬을 가감성 노이즈 모델로 모델링하여, 전체 전이기 네트워크(FCN)를 사용해 깨끗한 공분산과 노이즈 성분을 별도로 추정할 수 있도록 한다.
• 두 개의 동일한 복소수 전이기 네트워크를 사용하는 다중 스트림 아키텍처를 도입한다: 하나는 깨끗한 공분산 행렬 추정을 위한 (FCNcov), 다른 하나는 노이즈 추정을 위한 (FCNnoise).
• 최종 추정치는 깨끗한 공분산과 노이즈 예측치의 합을 지수화하여 복원하며, 원래의 곱셈 노이즈 모델로 복원된다.
• 쌍체의 노이즈 있는 공분산과 기준(시간 평균화된) 공분산 행렬을 사용해 엔드 투 엔드로 네트워크를 학습하며, PSNR와 SSIM을 최적화하는 손실 함수를 적용한다.
• 복소수 연산은 실수부와 허수부 간의 위상 및 진폭 관계를 유지하므로 더 견고한 특징 학습이 가능하다.
• 추론 과정에서는 깨끗한 공분산 추정 브랜치(FCNcov)만 사용하여 효율적인 구현이 보장된다.

실험 결과

연구 질문

• RQ1 복소수 딥러닝 아키텍처가 이중 펄스라르 SAR 공분산 행렬의 탈스펙클에서 실수형 네트워크를 능가할 수 있는가?
• RQ2 실수부와 허수부를 분리하지 않고 복소수 도메인에서 공분산 행렬을 모델링할 경우, 일반화 능력 향상과 데이터 요구량 감소에 기여하는가?
• RQ3 제안된 다중 스트림 복소수 전이기 네트워크는 최신 PolSAR 탈스펙클 기법과 비교해 정량적 지표와 시각적 품질에서 어떤가?
• RQ4 제한된 학습 데이터로도 모델이 미세조정 없이 새로운 시험 영역에 얼마나 잘 일반화되는가?

주요 결과

• CV-deSpeckNet은 테스트 이미지 1에서 최고의 PSNR(31.12)와 SSIM(0.87)을 기록하여, 실수형 RV-FCN 및 최신 기법을 포함한 모든 베이스라인보다 뛰어났다.
• 테스트 이미지 2에서는 기준 이미지로 미세조정한 후 PSNR 37.28과 SSIM 0.88을 달성하여 성능의 상한선에 가까워졌다.
• 테스트 이미지 1에서 ENL는 177.58, 테스트 이미지 2에서는 86.81을 기록하여, 다음으로 우수한 방법(deSpeckNet: 81.46 및 29.08)보다 뚜렷이 뛰어났다.
• CV-deSpeckNet은 펄스라르 매개변수의 절대 오차를 감소시켰다: 테스트 이미지 1에서 α(˜α)는 57% 감소했고, 테스트 이미지 2에서는 70% 감소했다.
• 미세조정 없이도 새로운 시나리오에 효과적으로 일반화되었으며, 테스트 이미지 1에서는 완전히 튜닝된 네트워크의 90% 성능을 달성했고, 테스트 이미지 2에서는 92%를 기록했다.
• CV-deSpeckNet은 복소수 연산에도 불구하고 학습에 단 7.01시간이 소요되었으며, RV-FCN는 1.3시간, deSpeckNet은 2.6시간이 소요되어 효율적인 학습이 가능함을 시사했다.