[论文解读] NightVision: Generating Nighttime Satellite Imagery from Infra-Red Observations

Paula Harder, William K. Jones+9 more|arXiv (Cornell University)|Nov 13, 2020

Impact of Light on Environment and Health参考文献 12被引用 8

一句话总结

本文提出一种基于U-Net架构的深度学习方法，利用夜间红外（IR）观测数据生成高质量的可见光卫星图像。通过在条件生成对抗网络（cGAN）或标准U-Net框架中结合结构相似性（SSIM）和L1损失，该方法在测试数据上实现了高达86%的SSIM，能够从IR输入生成视觉上逼真的日间风格图像，其中U-Net++模型在保真度和细节表现上优于其他模型。

ABSTRACT

The recent explosion in applications of machine learning to satellite imagery often rely on visible images and therefore suffer from a lack of data during the night. The gap can be filled by employing available infra-red observations to generate visible images. This work presents how deep learning can be applied successfully to create those images by using U-Net based architectures. The proposed methods show promising results, achieving a structural similarity index (SSIM) up to 86\% on an independent test set and providing visually convincing output images, generated from infra-red observations.

研究动机与目标

• 解决夜间可见光卫星图像缺失的问题，以支持地球观测中24/7的机器学习应用。
• 通过利用可用的夜间红外（IR）观测数据，合成可见（RGB）图像，弥补数据空白。
• 开发一种深度学习框架，实现从红外谱带到可见光谱的泛化能力，支持大气和地表特征的持续监测。
• 通过最小化伪影并提升生成图像的结构和色彩保真度，提高夜间预测的模型性能。
• 建立基于红外到可见光合成的遥感跨谱图像转换基准，重点关注与气候相关的应用。

提出的方法

• 采用基于U-Net的架构作为生成器，将红外（IR）输入图像映射为可见（RGB）输出图像，并通过跳跃连接保留空间细节。
• 使用条件生成对抗网络（cGAN），配备PatchGAN判别器，通过分类局部图像块来强制实现高频纹理一致性。
• 在生成器损失函数中整合结构相似性（SSIM）和L1损失：$\mathcal{L}_{\text{total}} = \lambda \mathcal{L}_{\text{SSIM}} + \mu \mathcal{L}_{1}$，其中$\lambda = 0.01$，$\mu = 10$。
• 通过解码器中的Dropout层引入随机性，以提升泛化能力，避免依赖随机噪声输入。
• 使用Adam优化器进行训练，配合学习率调度和早停策略；cGAN采用双判别器反向传播，以平衡生成器的指导信号。
• 使用SatPy将GOES-16的原始ABI辐射率预处理为127×127的RGB合成图像，聚焦于西经-85°至-70°、南纬-15°至-30°的区域。

实验结果

研究问题

• RQ1 深度学习模型能否有效将夜间红外卫星观测转化为逼真的可见光谱图像？
• RQ2 在从IR输入生成可见图像时，U-Net、U-Net++和条件生成对抗网络（cGAN）等不同架构在保真度和结构准确性方面如何比较？
• RQ3 与仅使用L1损失相比，引入SSIM损失在多大程度上提升了生成图像的感知质量和结构一致性？
• RQ4 夜间预测中的主要伪影和局限性是什么，特别是在色彩准确性和黑斑形成方面？
• RQ5 尽管白天与夜间红外信号行为存在差异，模型能否从白天训练数据有效泛化，生成合理可信的夜间可见图像？

主要发现

• U-Net++模型在独立测试集上实现了最高的结构相似性指数（SSIM）0.86，优于cGAN（0.77）和标准U-Net（0.85）。
• U-Net++模型实现了最低的均方根误差（RMSE）0.07，表明其在像素级精度上优于cGAN（0.11）和U-Net（0.09）。
• 视觉检查确认，U-Net++生成的图像在白天与真实图像几乎无法区分，云形、陆地和海洋特征均准确还原。
• cGAN模型在色彩还原方面优于U-Net变体，但因PatchGAN训练引入了水平和垂直条纹等伪影。
• U-Net和U-Net++模型在夜间预测中表现出黑色边缘和海洋区域过暗的问题，表明对低对比度红外信号的处理仍有待改进。
• 所有深度学习模型均显著优于k-NN基线模型（SSIM 0.15），证明了深度神经网络在地球观测跨谱图像转换中的有效性。