[论文解读] A Multi-Scale and Multi-Depth Convolutional Neural Network for Remote Sensing Imagery Pan-Sharpening

Qiangqiang Yuan, Yancong Wei+3 more|arXiv (Cornell University)|Dec 28, 2017

Advanced Image Fusion Techniques参考文献 4被引用 12

一句话总结

本文提出一种多尺度、多深度卷积神经网络（MSDCNN），用于遥感全色锐化，通过多尺度特征提取与残差学习，利用全色数据提升多光谱图像的空间分辨率。该方法在基准数据集上的定量指标与视觉质量方面均优于现有最先进方法。

ABSTRACT

Pan-sharpening is a fundamental and significant task in the field of remote sensing imagery processing, in which high-resolution spatial details from panchromatic images are employed to enhance the spatial resolution of multi-spectral (MS) images. As the transformation from low spatial resolution MS image to high-resolution MS image is complex and highly non-linear, inspired by the powerful representation for non-linear relationships of deep neural networks, we introduce multi-scale feature extraction and residual learning into the basic convolutional neural network (CNN) architecture and propose the multi-scale and multi-depth convolutional neural network (MSDCNN) for the pan-sharpening of remote sensing imagery. Both the quantitative assessment results and the visual assessment confirm that the proposed network yields high-resolution MS images that are superior to the images produced by the compared state-of-the-art methods.

研究动机与目标

• 解决遥感图像全色锐化中复杂的非线性映射问题。
• 通过融合高分辨率全色图像，提升多光谱图像的保真度与空间分辨率。
• 设计一种深度学习架构，有效捕捉多尺度空间特征，并学习残差映射以提升重建性能。
• 在定量与定性全色锐化性能方面均超越现有最先进方法。

提出的方法

• 所提出的MSDCNN集成多尺度特征提取，以捕捉不同感受野下的空间细节。
• 在网络架构中引入残差学习，以稳定训练并改善梯度流动。
• 网络采用多深度设计，通过堆叠卷积模块在多层中建模层次化特征。
• 采用跳跃连接机制以保留低层特征，并促进端到端训练。
• 使用损失函数最小化预测结果与真实高分辨率多光谱图像之间的重建误差，实现端到端训练。
• 该架构专为全色锐化任务设计，输入包含低分辨率多光谱图像与高分辨率全色图像。

实验结果

研究问题

• RQ1 深度卷积神经网络能否有效建模低分辨率多光谱图像与高分辨率多光谱图像之间的非线性映射？
• RQ2 多尺度特征提取在提升全色锐化图像空间细节表征方面有何作用？
• RQ3 残差学习在遥感全色锐化背景下，对训练稳定性与重建精度的提升程度如何？
• RQ4 所提出的多深度架构在全色锐化任务中是否优于现有浅层或单尺度CNN？

主要发现

• MSDCNN在基准数据集上实现了优越的定量性能，在PSNR与SAM指标上均优于现有最先进方法。
• 视觉评估表明，重建的多光谱图像在保持光谱保真度的同时，显著增强了空间细节。
• 多尺度与多深度设计使网络能更有效地捕捉细微纹理与结构特征，优于单尺度方法。
• 残差学习显著提升了训练收敛性与最终重建质量，减少了输出图像中的伪影。
• 该方法在多种遥感场景与传感器配置下均表现出强鲁棒性。