[论文解读] Despeckling Polarimetric SAR Data Using a Multi-Stream Complex-Valued Fully Convolutional Network

Adugna Mullissa, Claudio Persello+1 more|arXiv (Cornell University)|Mar 12, 2021

Synthetic Aperture Radar (SAR) Applications and Techniques参考文献 22被引用 29

一句话总结

该论文提出CV-deSpeckNet，一种多流复值全卷积网络，可直接处理双极化SAR数据的复值协方差矩阵，并在对数域中将斑点噪声建模为加性噪声。通过在不分离实部与虚部的情况下学习联合的实-虚表示，该方法在较少的训练样本下实现了优于实值对应方法和当前最先进方法的去斑性能，PSNR、SSIM和ENL值更高，同时保持了极化特征。

ABSTRACT

A Polarimetric Synthetic Aperture Radar (PolSAR) sensor is able to collect images in different polarization states, making it a rich source of information for target characterization. PolSAR images are inherently affected by speckle. Therefore, before deriving ad hoc products from the data, the polarimetric covariance matrix needs to be estimated by reducing speckle. In recent years, deep learning based despeckling methods have started to evolve from single channel SAR images to PolSAR images. To this aim, deep learning based approaches separate the real and imaginary components of the complex-valued covariance matrix and use them as independent channels in a standard convolutional neural networks. However, this approach neglects the mathematical relationship that exists between the real and imaginary components, resulting in sub-optimal output. Here, we propose a multi-stream complex-valued fully convolutional network to reduce speckle and effectively estimate the PolSAR covariance matrix. To evaluate the performance of CV-deSpeckNet, we used Sentinel-1 dual polarimetric SAR images to compare against its real-valued counterpart, that separates the real and imaginary parts of the complex covariance matrix. CV-deSpeckNet was also compared against the state of the art PolSAR despeckling methods. The results show CV-deSpeckNet was able to be trained with a fewer number of samples, has a higher generalization capability and resulted in a higher accuracy than its real-valued counterpart and state-of-the-art PolSAR despeckling methods. These results showcase the potential of complex-valued deep learning for PolSAR despeckling.

研究动机与目标

• 为解决实值深度学习方法在处理复协方差矩阵时将实部与虚部分离、忽略其数学关系的局限性。
• 开发一种复值神经网络架构，在去斑过程中保留PolSAR协方差矩阵的内在结构。
• 通过在多流全卷积框架中利用复值特征学习，提升泛化能力并减少对训练数据量的需求。
• 在定量指标和视觉质量方面均超越现有最先进的PolSAR去斑方法。

提出的方法

• 该方法将对数变换后的协方差矩阵建模为加性噪声模型，从而可使用全卷积网络（FCNs）分别估计干净协方差矩阵与噪声分量。
• 采用多流架构，使用两个相同的复值FCN：一个用于估计干净协方差矩阵（FCNcov），另一个用于估计噪声（FCNnoise）。
• 通过将干净协方差与噪声预测的和进行指数运算，重建最终估计结果，从而恢复原始的乘性噪声模型。
• 使用成对的噪声协方差矩阵与参考（时间平均）协方差矩阵进行端到端训练，损失函数针对PSNR和SSIM进行优化。
• 复值运算保留了实部与虚部之间的相位与幅度关系，从而实现更鲁棒的特征学习。
• 推理阶段仅使用干净协方差估计分支（FCNcov），确保高效部署。

实验结果

研究问题

• RQ1 复值深度学习架构是否能在双极化SAR协方差矩阵去斑任务中超越实值网络？
• RQ2 在不分离实部与虚部的前提下，在复域中建模协方差矩阵，是否能带来更好的泛化能力与更低的数据需求？
• RQ3 所提出的多流复值FCN与当前最先进PolSAR去斑方法相比，在定量指标与视觉质量方面表现如何？
• RQ4 在训练数据有限的情况下，该模型在未见测试场景中泛化能力如何，是否需要微调？

主要发现

• 在测试图像1上，CV-deSpeckNet实现了最高的PSNR（31.12）与SSIM（0.87），优于所有基线方法，包括实值RV-FCN与最先进方法。
• 在测试图像2上，经参考图像微调后，CV-deSpeckNet实现了PSNR 37.28与SSIM 0.88，接近性能上限。
• 在测试图像1上，CV-deSpeckNet的ENL达到177.58，在测试图像2上达到86.81，显著优于次佳方法（deSpeckNet：81.46与29.08）。
• 与次佳方法相比，CV-deSpeckNet将极化参数α（˜α）的绝对误差分别降低了57%（测试图像1）与70%（测试图像2）。
• 该模型在无需微调的情况下有效泛化至新场景，在测试图像1上达到全微调网络90%的性能，在测试图像2上达到92%。
• 尽管采用复值运算，CV-deSpeckNet仅需7.01小时训练时间，远低于RV-FCN的1.3小时与deSpeckNet的2.6小时，表明其具备高效的特征学习能力。