[论文解读] Multi-Modal Attention-based Fusion Model for Semantic Segmentation of RGB-Depth Images

Fahimeh Fooladgar, Shohreh Kasaei|arXiv (Cornell University)|Dec 25, 2019

Advanced Neural Network Applications被引用 16

一句话总结

本文提出了一种高效的编码器-解码器卷积神经网络（CNN），并引入一种新颖的多模态注意力融合模块（AFB），用于RGB-深度图像语义分割。AFB通过顺序的通道注意力与空间注意力机制，自适应地融合来自RGB分支和深度分支的特征，从而在降低计算成本的同时提升特征表示能力。该模型在参数量减少50%、浮点运算量（FLOPs）减少250G的前提下，实现了最先进（SOTA）的性能表现。

ABSTRACT

The 3D scene understanding is mainly considered as a crucial requirement in computer vision and robotics applications. One of the high-level tasks in 3D scene understanding is semantic segmentation of RGB-Depth images. With the availability of RGB-D cameras, it is desired to improve the accuracy of the scene understanding process by exploiting the depth features along with the appearance features. As depth images are independent of illumination, they can improve the quality of semantic labeling alongside RGB images. Consideration of both common and specific features of these two modalities improves the performance of semantic segmentation. One of the main problems in RGB-Depth semantic segmentation is how to fuse or combine these two modalities to achieve more advantages of each modality while being computationally efficient. Recently, the methods that encounter deep convolutional neural networks have reached the state-of-the-art results by early, late, and middle fusion strategies. In this paper, an efficient encoder-decoder model with the attention-based fusion block is proposed to integrate mutual influences between feature maps of these two modalities. This block explicitly extracts the interdependences among concatenated feature maps of these modalities to exploit more powerful feature maps from RGB-Depth images. The extensive experimental results on three main challenging datasets of NYU-V2, SUN RGB-D, and Stanford 2D-3D-Semantic show that the proposed network outperforms the state-of-the-art models with respect to computational cost as well as model size. Experimental results also illustrate the effectiveness of the proposed lightweight attention-based fusion model in terms of accuracy.

研究动机与目标

• 通过有效融合RGB与深度模态，提升室内场景语义分割的精度。
• 提出一种计算高效的融合方法，以应对RGB-D语义分割中的模态融合挑战。
• 设计一种轻量级注意力机制，以捕捉RGB与深度特征图之间的依赖关系。
• 在保持或提升分割性能的同时，减少模型参数量与FLOPs。
• 在标准基准数据集（NYU-V2、SUN RGB-D、2D-3D-Semantic）上进行评估，并采用全面的指标进行分析。

提出的方法

• 模型采用双编码器-单解码器架构，为RGB图像与深度图像分别设置独立的编码器分支。
• 在每个编码器模块之后插入一个基于注意力的融合模块（AFB），以融合两种模态的特征。
• AFB首先应用通道注意力，再应用空间注意力，以计算特征图的自适应融合权重。
• 注意力机制受挤压-激励网络（squeeze-and-excitation networks）启发，基于通道间依赖关系对特征图进行重校准。
• 在解码器中引入轻量级级联残差池化层，以在不增加计算成本的前提下捕捉全局上下文信息。
• 将来自两种模态的特征图进行拼接，并通过AFB处理，生成增强的、模态感知的融合特征。

实验结果

研究问题

• RQ1 如何有效融合RGB与深度特征，以提升室内场景下的语义分割性能？
• RQ2 基于注意力的机制是否能在保持或提升精度的同时，降低多模态语义分割的计算成本？
• RQ3 与最先进方法相比，所提模型在模型大小、FLOPs与分割精度方面表现如何？
• RQ4 与早期融合、晚期融合或中间层融合策略相比，注意力融合模块在多大程度上增强了特征表示能力？
• RQ5 该模型在不同图像与物体类别上的性能是否具有一致性，特别是在边界区域？

主要发现

• 所提模型在NYU-V2、SUN RGB-D与2D-3D-Semantic数据集上，于平均交并比（mIoU）、全局准确率与平均准确率等指标上均达到最先进水平。
• 与性能最佳的先前方法相比，模型的FLOPs减少了约250G，显著提升了计算效率。
• 与最先进模型相比，模型参数量减少了50%，使其更适用于实时处理与边缘设备部署。
• 累积分布函数（CDF）分析显示，超过70%的测试图像全局准确率超过80%，表明模型在各类图像上表现一致。
• 边界位移误差（BDE）分析表明，60%的图像在'Floor'与'Chair'等类别上的边界差异小于10像素，说明边界定位精度高。
• 在SUN RGB-D与NYU-V2数据集上的定性结果表明，该模型生成的分割结果更清晰、更精确，尤其在遮挡区域或低光照区域表现更优。