[论文解读] MMSFormer: Multimodal Transformer for Material and Semantic Segmentation

M. Reza, Ashley Prater-Bennette+1 more|arXiv (Cornell University)|Sep 7, 2023

Advanced Neural Network Applications参考文献 62被引用 4

一句话总结

该论文提出MMSFormer，一种新颖的多模态Transformer模型，通过可学习的融合模块有效整合来自不同输入模态（如RGB、偏振、NIR、热成像和深度）的特征，用于材料与语义分割。该融合模块结合并行卷积、通道注意力与线性融合，以捕捉多尺度特征并重新校准通道表示，从而在三个数据集上实现最先进性能，且随着模态数量增加，性能持续提升。

ABSTRACT

Leveraging information across diverse modalities is known to enhance performance on multimodal segmentation tasks. However, effectively fusing information from different modalities remains challenging due to the unique characteristics of each modality. In this paper, we propose a novel fusion strategy that can effectively fuse information from different modality combinations. We also propose a new model named Multi-Modal Segmentation TransFormer (MMSFormer) that incorporates the proposed fusion strategy to perform multimodal material and semantic segmentation tasks. MMSFormer outperforms current state-of-the-art models on three different datasets. As we begin with only one input modality, performance improves progressively as additional modalities are incorporated, showcasing the effectiveness of the fusion block in combining useful information from diverse input modalities. Ablation studies show that different modules in the fusion block are crucial for overall model performance. Furthermore, our ablation studies also highlight the capacity of different input modalities to improve performance in the identification of different types of materials. The code and pretrained models will be made available at https://github.com/csiplab/MMSFormer.

研究动机与目标

• 为解决分割任务中异质多模态数据融合的挑战，现有方法通常仅限于特定模态对，或在超过两种模态时失效。
• 设计一种灵活、通用的融合机制，能够无需架构重设计即可处理任意组合的输入模态。
• 通过系统性地利用多样化成像模态之间的互补信息，提升材料与语义分割的准确性。
• 通过消融研究分析各模态对特定材料类别识别的贡献。

提出的方法

• MMSFormer采用模态特定的视觉Transformer编码器，从每种输入模态中提取层次化特征。
• 提出一种新型融合模块，沿通道维数拼接各模态特征，并通过线性融合层进行组合。
• 融合后的特征通过具有不同卷积核大小的并行卷积层处理，以捕捉多尺度空间表征。
• 通过在残差旁路连接中应用Squeeze-and-Excitation模块，实现通道级特征重校准，动态重加权通道。
• 融合并增强后的特征随后输入基于MLP的解码器，生成像素级分割图。
• 模型采用交叉熵损失与类别平衡进行端到端训练，推理阶段支持任意模态组合。

实验结果

研究问题

• RQ1 统一的融合模块是否能在一个架构中有效融合来自多样化异质模态组合（如RGB、AoLP、DoLP、NIR、热成像）的特征？
• RQ2 随着新模态的逐步引入，模型性能是否呈现渐进式提升，从单一模态开始？
• RQ3 融合模块中的哪些组件（并行卷积、通道注意力、线性融合）对性能最为关键，其各自贡献如何？
• RQ4 哪些特定材料类别最受益于特定模态，其独特的物理特性如何与模态敏感性相关联？

主要发现

• MMSFormer在三个基准数据集上取得新的最先进性能：MCubeS（材料分割）、FMB（RGB-红外）和PST900（RGB-热成像），在所有模态组合中均优于先前方法。
• 性能随每种新增模态逐步提升，证明了融合模块能够有效整合新输入的有用互补信息。
• 消融研究显示，若移除并行卷积层，mIoU下降4.51%，凸显其在捕捉多尺度特征中的关键作用。
• 通道注意力机制贡献显著，移除后性能下降5.36%，表明其在重校准通道特征重要性方面至关重要。
• 若仅保留线性层而移除所有其他融合组件，性能下降9.25%，证明完整融合模块架构的必要性。
• NIR模态显著提升了沥青、混凝土、塑料、鹅卵石和人像类别的分割性能，而AoLP与DoLP则增强了玻璃、木材和橡胶材料的检测能力。