[论文解读] Generative Adversarial Networks for Synthesizing InSAR Patches

Philipp Sibler, Yuanyuan Wang+3 more|arXiv (Cornell University)|Aug 3, 2020

Generative Adversarial Networks and Image Synthesis参考文献 9被引用 4

一句话总结

本文提出了一种新颖的奈奎斯特映射方案，可在条件生成对抗网络（conditional GAN）框架下，利用标准实值卷积神经网络（CNN）实现复值干涉合成孔径雷达（InSAR）图像块的合成。通过建模CNN的信号处理行为并优化相位一致性的损失函数，该方法实现了低相位噪声的高感知质量合成，从而支持用于训练和数据增强的合成InSAR数据生成。

ABSTRACT

Generative Adversarial Networks (GANs) have been employed with certain success for image translation tasks between optical and real-valued SAR intensity imagery. Applications include aiding interpretability of SAR scenes with their optical counterparts by artificial patch generation and automatic SAR-optical scene matching. The synthesis of artificial complex-valued InSAR image stacks asks for, besides good perceptual quality, more stringent quality metrics like phase noise and phase coherence. This paper provides a signal processing model of generative CNN structures, describes effects influencing those quality metrics and presents a mapping scheme of complex-valued data to given CNN structures based on popular Deep Learning frameworks.

研究动机与目标

• 解决缺乏有效方法生成具有高相位一致性复值InSAR图像块的问题。
• 克服将实值深度学习框架适配至GAN架构中处理复值SAR数据的挑战。
• 构建CNN的信号处理模型，以理解并控制图像合成过程中的相位与振幅失真。
• 提出一种新型映射方案——奈奎斯特映射，实现无需网络架构修改即可直接复用实值CNN实现以处理复值张量。
• 优化损失函数，以促进真实与合成InSAR图像块之间的相位一致性，提升干涉应用中的保真度。

提出的方法

• 基于平坦地球、恒定反射率和线性相位响应的假设，建立简化的单频InSAR成像模型，以定义目标信号特征。
• 将CNN建模为具有可学习卷积核、偏置项和非线性激活函数（如ReLU）的分层滤波器组，从而分析网络中信号变换的特性。
• 提出奈奎斯特映射方案，通过交错排列复值张量的实部与虚部分量，将复值张量映射为实值张量，同时保持复数结构，并与标准实值CNN兼容。
• 实现条件GAN，其中生成器以源图像（如强度或幅度）作为输入，生成具有稳定相位模式的复值InSAR图像块。
• 设计并应用针对相位噪声最小化和真实与生成InSAR图像对之间相位一致性最大化的专用损失函数。
• 在合成单频场景、真实Sentinel-1 InSAR数据及模拟SAR场景上评估该方法，以验证其在多种条件下的性能表现。

实验结果

研究问题

• RQ1 如何有效适配实值深度学习框架，以生成高保真度的复值InSAR图像块？
• RQ2 CNN中的哪些信号处理效应最显著地影响合成InSAR数据的相位噪声与相位一致性？
• RQ3 是否可通过新型映射方案实现现有实值CNN实现对复值数据的复用，而无需修改网络架构？
• RQ4 所提出的损失函数在促进真实与生成InSAR图像块之间相位一致性方面的有效性如何？
• RQ5 与现有复值CNN方法相比，奈奎斯特映射方案在感知质量与相位稳定性方面优势有多大？

主要发现

• 奈奎斯特映射方案成功实现了在不修改网络底层架构的前提下，利用标准实值CNN进行复值InSAR图像块生成。
• CNN的信号处理模型表明，滤波器组行为与非线性激活函数显著影响生成InSAR数据中的相位失真与噪声。
• 实验结果表明，该方法即使在有限真实数据上进行训练，也能在合成的InSAR图像块中实现低相位噪声与高相位一致性。
• 采用专为相位一致性设计的损失函数，显著提升了生成InSAR数据栈的保真度，相比基线GAN有明显改进。
• 该方法在合成单频场景与真实Sentinel-1 InSAR数据上均表现出稳健性能，验证了其在真实遥感任务中的适用性。
• 该方法可通过生成具有可控参数（如基线或场景类型）的多样化、真实感强的合成图像块，实现InSAR分类器的可扩展数据增强。