[论文解读] GAMUS: A Geometry-aware Multi-modal Semantic Segmentation Benchmark for Remote Sensing Data

Zhitong Xiong, Sining Chen+3 more|arXiv (Cornell University)|May 24, 2023

Remote Sensing and LiDAR ApplicationsEnvironmental Science被引用 3

一句话总结

本文提出了GAMUS，一个基于联合配准的RGB与归一化数字表面模型（nDSM）数据的大规模、几何感知多模态遥感语义分割基准。该研究提出了一种新颖的基于Transformer的中间多模态融合（TIMF）模块，通过在标记级别自适应融合特征，显著提升了所有类别上的mIoU，实现了当前最优性能。

ABSTRACT

Geometric information in the normalized digital surface models (nDSM) is highly correlated with the semantic class of the land cover. Exploiting two modalities (RGB and nDSM (height)) jointly has great potential to improve the segmentation performance. However, it is still an under-explored field in remote sensing due to the following challenges. First, the scales of existing datasets are relatively small and the diversity of existing datasets is limited, which restricts the ability of validation. Second, there is a lack of unified benchmarks for performance assessment, which leads to difficulties in comparing the effectiveness of different models. Last, sophisticated multi-modal semantic segmentation methods have not been deeply explored for remote sensing data. To cope with these challenges, in this paper, we introduce a new remote-sensing benchmark dataset for multi-modal semantic segmentation based on RGB-Height (RGB-H) data. Towards a fair and comprehensive analysis of existing methods, the proposed benchmark consists of 1) a large-scale dataset including co-registered RGB and nDSM pairs and pixel-wise semantic labels; 2) a comprehensive evaluation and analysis of existing multi-modal fusion strategies for both convolutional and Transformer-based networks on remote sensing data. Furthermore, we propose a novel and effective Transformer-based intermediary multi-modal fusion (TIMF) module to improve the semantic segmentation performance through adaptive token-level multi-modal fusion.The designed benchmark can foster future research on developing new methods for multi-modal learning on remote sensing data. Extensive analyses of those methods are conducted and valuable insights are provided through the experimental results. Code for the benchmark and baselines can be accessed at \url{https://github.com/EarthNets/RSI-MMSegmentation}.

研究动机与目标

• 为解决多模态遥感语义分割领域缺乏大规模、多样化且统一的基准问题。
• 实现对卷积神经网络与Transformer架构下多模态融合策略的公平且全面的评估。
• 探究nDSM中几何信息在提升语义分割性能方面的有效性。
• 开发并验证一种新颖的、自适应的、基于标记级别的多模态融合机制在遥感数据中的应用。
• 为地球观测领域未来多模态学习研究提供标准化平台。

提出的方法

• GAMUS基准包含1,000对高分辨率（0.33米）的联合配准RGB与nDSM图像对，涵盖六种类别的像素级语义标注：地表、植被、建筑、水体、道路和树木。
• 建立全面的评估协议，用于在卷积神经网络与Transformer架构上比较多模态融合策略。
• 所提出的TIMF模块通过在Transformer编码器中使用交叉注意力机制，在标记级别实现RGB与nDSM特征的自适应、可学习融合。
• TIMF模块通过可学习的融合门整合模态特定特征，并关注跨模态表示，以增强特征判别能力。
• 该基准支持监督与零样本评估协议，支持对泛化能力与鲁棒性的分析。
• 开展大量消融实验，分析融合策略、模态重要性及模型架构对分割精度的影响。

Figure 1 : Example images of the GAMUS dataset. Images from left to right are the RGB modality, the nDSM modality, the blending visualization image, and the segmentation label.

实验结果

研究问题

• RQ1 nDSM提供的几何信息在遥感语义分割性能中所占的相对贡献如何？
• RQ2 在高分辨率遥感数据上，不同多模态融合策略在性能与鲁棒性方面如何比较？
• RQ3 当采用几何感知融合时，基于Transformer的架构是否能在多模态遥感分割中超越卷积神经网络？
• RQ4 如何实现RGB与nDSM模态在自适应、标记级别上的最优融合以提升分割效果？
• RQ5 在GAMUS上训练的多模态模型对未见区域或场景的泛化能力如何？

主要发现

• 所提出的TIMF模块在GAMUS基准上实现了0.7638的最高平均交并比（mIoU），优于所有基线方法。
• 基于Transformer的模型，尤其是与TIMF模块结合时，其mIoU显著高于对应的CNN基线模型，较最佳CNN基线相对提升10.5%。
• 采用SegFormer作为主干网络的CMX模型实现了0.7523的mIoU，表明自注意力机制在捕捉全局上下文方面的优势。
• 显式建模nDSM中几何结构的融合策略（如ShapeConv与VCD）在性能上持续优于简单拼接或早期融合。
• TIMF模块在各类别上的mIoU分别为：地表类0.8023，植被类0.6797，建筑类0.8452，水体类0.6955，道路类0.7368，树木类0.8232，表明其在多种地表覆盖类型中均具有强大泛化能力。
• 定性结果表明，TIMF生成的分割边界更清晰、更连贯，尤其在具有复杂纹理与高度差异的城市区域表现更优。

Figure 2 : Data collection and processing of the GAMUS dataset.