[论文解读] MRFusion: A Deep Learning architecture to fuse PAN and MS imagery for land cover mapping

Raffaele Gaetano, Dino Ienco+2 more|arXiv (Cornell University)|Jun 29, 2018

Advanced Image Fusion Techniques被引用 5

一句话总结

MRFusion 提出了一种新颖的深度学习架构，直接使用原始分辨率的全色（PAN）和多光谱（MS）影像对地表覆盖进行分类，无需预先进行融合或重采样。通过端到端训练的双分支卷积神经网络框架，融合空间与光谱特征，其分类精度优于现有方法，且伪影更少，尤其在区分水体、城市区域和森林等具有挑战性的类别方面表现更优。

ABSTRACT

Nowadays, Earth Observation systems provide a multitude of heterogeneous remote sensing data. How to manage such richness leveraging its complementarity is a crucial chal- lenge in modern remote sensing analysis. Data Fusion techniques deal with this point proposing method to combine and exploit complementarity among the different data sensors. Considering optical Very High Spatial Resolution (VHSR) images, satellites obtain both Multi Spectral (MS) and panchro- matic (PAN) images at different spatial resolution. VHSR images are extensively exploited to produce land cover maps to deal with agricultural, ecological, and socioeconomic issues as well as assessing ecosystem status, monitoring biodiversity and provid- ing inputs to conceive food risk monitoring systems. Common techniques to produce land cover maps from such VHSR images typically opt for a prior pansharpening of the multi-resolution source for a full resolution processing. Here, we propose a new deep learning architecture to jointly use PAN and MS imagery for a direct classification without any prior image fusion or resampling process. By managing the spectral information at its native spatial resolution, our method, named MRFusion, aims at avoiding the possible infor- mation loss induced by pansharpening or any other hand-crafted preprocessing. Moreover, the proposed architecture is suitably designed to learn non-linear transformations of the sources with the explicit aim of taking as much as possible advantage of the complementarity of PAN and MS imagery. Experiments are carried out on two-real world scenarios depicting large areas with different land cover characteristics. The characteristics of the proposed scenarios underline the applicability and the generality of our method in operational settings.

研究动机与目标

• 解决传统基于融合的影像融合流程在地表覆盖制图中引入伪影并造成信息损失的局限性。
• 开发一种深度学习框架，联合处理全色（PAN）和多光谱（MS）影像的原始空间分辨率数据，以保持光谱与空间完整性。
• 通过利用高分辨率全色与多光谱数据的互补信息，避免中间重采样或上采样步骤，从而提升分类精度。
• 在多样化地表覆盖类型的现实世界VHSR数据集上，展示端到端学习的有效性。

提出的方法

• MRFusion采用双分支卷积神经网络：一个分支处理高分辨率全色（PAN）影像，另一个分支处理低分辨率多光谱（MS）影像。
• 每个分支通过卷积和池化层提取分层的空间与光谱特征，同时保留输入数据的原始分辨率。
• 在后期融合阶段将两分支的特征进行拼接，以结合PAN影像的空间细节与MS影像的光谱信息。
• 模型通过监督分类损失进行端到端训练，直接从原始、未经处理的PAN与MS输入优化地表覆盖类别预测。
• 该架构避免了任何上采样或融合步骤，防止了预处理流程中常见的辐射畸变与信息损失。
• 该方法显式建模输入源的非线性变换，以最大化其互补特性的利用。

实验结果

研究问题

• RQ1 通过在原始分辨率下处理全色与多光谱影像，而不进行预先融合或重采样，深度学习模型能否实现更优的地表覆盖分类？
• RQ2 与依赖融合的常规流程相比，基于原始分辨率数据的端到端学习在分类精度与伪影生成方面表现如何？
• RQ3 在多大程度上保留原始光谱与空间分辨率能提升对水体、城市区域和森林等具有挑战性的地表覆盖类别的区分能力？
• RQ4 双分支CNN架构能否在不进行中间数据转换的情况下，有效融合空间与光谱信息，从而实现更鲁棒且一致的预测？

主要发现

• 在两个真实世界数据集上，MRFusion在总体与各类别精度上均优于DMIL与CNN_PS基线模型，表现出更优的定量结果。
• 视觉检查显示，CNN_PS在作物林地类别中产生了水平条带状伪影，可能源于融合输入中的辐射不一致性，而MRFusion未出现此类伪影。
• 在留尼汪岛数据集中，MRFusion正确将水下珊瑚礁分类为水体，而DMIL与CNN_PS则将其与裸露岩石及城市区域混淆。
• 在森林区域，MRFusion生成了更空间均匀且准确的分类结果，而DMIL与CNN_PS则表现出森林与甘蔗田、果园之间的噪声混合。
• MRFusion在城市区域与水体表面之间的混淆程度更低，对水体类别的高估显著少于CNN_PS，后者表现出水体类别的严重高估。
• 该模型联合利用原始分辨率的空间与光谱特征，使空间预测更一致且更规则化，尤其在复杂的城市与沿海环境中显著提升了类别区分能力。