[论文解读] Lunar surface image restoration using U-net based deep neural networks

Hiya Roy, Subhajit Chaudhury+4 more|arXiv (Cornell University)|Apr 14, 2019

Image Processing and 3D Reconstruction参考文献 1被引用 8

一句话总结

本文提出一种基于U-Net的深度神经网络，用于恢复月球表面图像中的缺失像素，利用嫦娥一号卫星多光谱成像仪获取的灰度数据。该模型通过利用上下文感知特征学习，实现了较高的视觉质量与改进的PSNR，展示了在行星遥感图像修复任务中的优异性能。

ABSTRACT

Image restoration is a technique that reconstructs a feasible estimate of the original image from the noisy observation. In this paper, we present a U-Net based deep neural network model to restore the missing pixels on the lunar surface image in a context-aware fashion, which is often known as image inpainting problem. We use the grayscale image of the lunar surface captured by Multiband Imager (MI) onboard Kaguya satellite for our experiments and the results show that our method can reconstruct the lunar surface image with good visual quality and improved PSNR values.

研究动机与目标

• 解决由传感器噪声或数据丢失引起的月球表面图像中缺失像素区域的问题。
• 开发一种上下文感知的图像修复方法，以保留月球地形的结构与纹理细节。
• 评估基于U-Net的架构在真实世界行星图像中的图像修复性能。
• 提升图像质量度量指标，如在灰度月球表面图像修复中的PSNR。

提出的方法

• 采用U-Net架构，通过编码器与解码器路径以及跳跃连接来保留空间细节。
• 该模型在嫦娥一号卫星搭载的多光谱成像仪（MI）获取的灰度月球表面图像上进行端到端训练。
• 通过卷积与转置卷积层，利用周围像素的上下文信息来预测缺失区域。
• 编码路径与解码路径之间的跳跃连接使模型能够恢复细微的纹理与结构特征。
• 训练过程使用最小化像素级重建误差的损失函数，以增强修复区域的保真度。
• 采用PSNR作为定量指标评估修复精度。

实验结果

研究问题

• RQ1 基于U-Net的深度神经网络能否在高视觉质量下有效恢复月球表面图像中的缺失像素？
• RQ2 与基线方法相比，U-Net中的上下文感知特征学习在多大程度上提升了修复性能？
• RQ3 该模型在图像修复过程中对地质纹理与表面结构的保留程度如何？
• RQ4 在真实月球图像上使用该方法时，PSNR的提升程度如何？

主要发现

• 所提出的基于U-Net的模型在月球表面图像修复任务中相比基线方法显著提升了PSNR。
• 视觉检查表明，修复后的图像保持了与原始月球表面一致的逼真纹理与结构一致性。
• 该模型成功重建了缺失区域中复杂的表面特征，如陨石坑与月壤图案。
• 跳跃连接的使用有助于更好地保留修复图像中的细节与边缘信息。
• 该方法在不同缺失区域范围下表现出鲁棒性，能在多种修复场景中保持高质量输出。
• 结果表明，基于深度学习的图像修复方法在行星尺度遥感图像修复中具有显著有效性。