[论文解读] FEANet: Feature-Enhanced Attention Network for RGB-Thermal Real-time Semantic Segmentation

Fuqin Deng, Hua Feng+8 more|arXiv (Cornell University)|Oct 18, 2021

Advanced Neural Network Applications被引用 6

一句话总结

FEANet 提出了一种两阶段的特征增强注意力网络，用于实时 RGB-T 语义分割，通过一种新颖的特征增强注意力模块（FEAM）建模通道与空间依赖关系，从而增强来自 RGB 和热成像双流的多级特征。该方法在城市数据集上相比 SOTA 方法实现了 +2.6% 的 mAcc 和 +0.8% 的 mIoU 提升，同时在单张 RTX 2080 Ti 上保持了 35 FPS 的实时推理速度。

ABSTRACT

The RGB-Thermal (RGB-T) information for semantic segmentation has been extensively explored in recent years. However, most existing RGB-T semantic segmentation usually compromises spatial resolution to achieve real-time inference speed, which leads to poor performance. To better extract detail spatial information, we propose a two-stage Feature-Enhanced Attention Network (FEANet) for the RGB-T semantic segmentation task. Specifically, we introduce a Feature-Enhanced Attention Module (FEAM) to excavate and enhance multi-level features from both the channel and spatial views. Benefited from the proposed FEAM module, our FEANet can preserve the spatial information and shift more attention to high-resolution features from the fused RGB-T images. Extensive experiments on the urban scene dataset demonstrate that our FEANet outperforms other state-of-the-art (SOTA) RGB-T methods in terms of objective metrics and subjective visual comparison (+2.6% in global mAcc and +0.8% in global mIoU). For the 480 x 640 RGB-T test images, our FEANet can run with a real-time speed on an NVIDIA GeForce RTX 2080 Ti card.

研究动机与目标

• 为解决在低光照或复杂背景条件下 RGB-T 语义分割性能不佳的挑战。
• 通过建模模态特异性特征，提升从低质量热成像图像中提取特征的能力。
• 提升城市场景中边界检测与小目标分割（如彩色锥桶）的性能。
• 在不损失空间分辨率的前提下保持实时推理速度。

提出的方法

• 提出两阶段网络：第一阶段在 RGB 和热成像双流中应用 FEAM 模块，以优化多级特征。
• 设计 FEAM 模块以建模通道间与空间注意力机制，增强判别性低级特征并抑制背景噪声。
• 通过渐进式优化，在多个层级上提取并增强特征，同时保留高分辨率细节。
• 在 FEAM 增强后，通过逐元素相加的方式融合 RGB 与热成像特征，提升模态兼容性。
• 采用双流编码器，独立地在 RGB 和热成像分支中应用 FEAM，以保留模态特异性表征。
• 在解码器中使用跳跃连接，以重建高分辨率分割图，同时保持实时推理速度。

Figure 1: Qualitative comparison with two latest networks in daytime and nighttime urban street scenes. The color cones (the objects marked in the red frame) are too small to detect and segment. We can see that the color cone boundaries segmented by the RTFNet are not so sharp or fail to segment the

实验结果

研究问题

• RQ1 专用注意力模块是否能在不降低空间分辨率的前提下，提升 RGB-T 语义分割中的特征表征能力？
• RQ2 对模态特异性特征的增强（尤其是低质量热成像数据）在小目标检测中产生何种影响？
• RQ3 注意力机制在挑战性光照条件下，能在多大程度上提升边界检测的准确性？
• RQ4 轻量级注意力模块是否能在保持实时推理速度的同时，超越 SOTA 方法？

主要发现

• FEANet 在测试集上达到 73.2% 的 mAcc 和 55.3% 的 mIoU，相比 SOTA 方法分别提升了 +2.6% 的 mAcc 和 +0.8% 的 mIoU。
• Guardrail 类别的准确率相比 FuseSeg-161 提升了 +7.1%，IoU 提升了 +0.2%，表明在小目标分割方面表现优异。
• Color Cone 类别实现了 +5.4% 的准确率提升和 +8.4% 的 IoU 增益，表明对微小目标的边界检测能力显著增强。
• FEANet 在 RTX 2080 Ti 上以 35.06 FPS 的速度运行（每张图像 28.52 ms），证实了其具备实时推理能力。
• 消融实验表明，无论在 RGB 流还是热成像流中使用 FEAM，尤其是热成像流，均显著提升了性能。
• FEAM 模块在所有层级上均提升了特征质量，其中在低级特征优化与边界清晰度提升方面效果最为显著。

Figure 2: The overall architecture of the proposed FEANet. From left to right are Thermal Stream, RGB Stream, and Output Stream. The encoder in Thermal Stream and RGB Stream contains two extracting stages. In stage 1, Thermal Stream and RGB Stream use ResNet [ 24 ] as the feature extractor layer. Th