[论文解读] A Single Stream Network for Robust and Real-time RGB-D Salient Object Detection

Xiaoqi Zhao, Lihe Zhang+3 more|arXiv (Cornell University)|Jul 14, 2020

Visual Attention and Saliency Detection参考文献 49被引用 19

一句话总结

该论文提出了一种单流、轻量化且实时的RGB-D显著性目标检测网络，通过一种新颖的深度增强双注意力模块（DEDA）和分层注意力特征提取（PAFE），利用深度图实现早期与中期特征融合。该模型在384×384图像上实现了55.5%的参数量减少和32 FPS的推理速度，在多个基准测试中达到最先进性能。

ABSTRACT

Existing RGB-D salient object detection (SOD) approaches concentrate on the cross-modal fusion between the RGB stream and the depth stream. They do not deeply explore the effect of the depth map itself. In this work, we design a single stream network to directly use the depth map to guide early fusion and middle fusion between RGB and depth, which saves the feature encoder of the depth stream and achieves a lightweight and real-time model. We tactfully utilize depth information from two perspectives: (1) Overcoming the incompatibility problem caused by the great difference between modalities, we build a single stream encoder to achieve the early fusion, which can take full advantage of ImageNet pre-trained backbone model to extract rich and discriminative features. (2) We design a novel depth-enhanced dual attention module (DEDA) to efficiently provide the fore-/back-ground branches with the spatially filtered features, which enables the decoder to optimally perform the middle fusion. Besides, we put forward a pyramidally attended feature extraction module (PAFE) to accurately localize the objects of different scales. Extensive experiments demonstrate that the proposed model performs favorably against most state-of-the-art methods under different evaluation metrics. Furthermore, this model is 55.5\% lighter than the current lightest model and runs at a real-time speed of 32 FPS when processing a $384 imes 384$ image.

研究动机与目标

• 为解决两流RGB-D网络存在的参数量过高及因模态差异导致泛化能力差的问题。
• 通过将深度图不仅作为模态输入，更作为注意力引导的空间先验，提升显著目标检测中的特征判别能力。
• 设计一种轻量化架构，在保持高精度的同时实现实时推理速度与更小的模型尺寸。
• 通过分层注意力特征提取模块建模跨尺度的空间相关性，增强多尺度特征表示。

提出的方法

• 设计一个输入为4通道（RGB + 深度）的单流编码器，实现早期特征融合，采用ImageNet预训练权重与一种新颖的初始化策略以稳定训练过程。
• 深度增强双注意力模块（DEDA）在两条并行分支中分别应用掩码引导与深度引导注意力，以抑制前景-背景混淆并增强对比度。
• 分层注意力特征提取（PAFE）模块通过计算多感受野特征之间的空间相关性，提升上下文表征能力，实现更精确的定位。
• 采用逐元素相加与4通道拼接进行早期融合，其中后者相比基线方法显著提升了性能。
• 解码器采用双分支注意力机制，联合优化前景与背景预测，分别受深度图与掩码先验引导。
• 提出一种新型初始化方法，以在使用预训练ImageNet主干网络处理4通道输入时稳定训练过程。

实验结果

研究问题

• RQ1 单流架构是否能有效替代两流网络，在降低模型复杂度的同时实现RGB-D显著性目标检测？
• RQ2 如何超越简单的特征拼接，利用深度图增强显著性检测中的注意力机制？
• RQ3 在复杂场景中，基于深度图的注意力机制能在多大程度上提升前景与背景的判别能力？
• RQ4 分层注意力特征提取模块是否能在不显著增加计算成本的前提下，提升多尺度目标定位性能？
• RQ5 在实时RGB-D显著性检测中，模型效率、精度与推理速度之间存在何种权衡？

主要发现

• 与当前最轻量的模型相比，所提模型在VGG-16主干网络下实现了55.5%的参数量减少，仅需106.7 MB模型大小。
• 在384×384图像上，模型推理速度达到32 FPS，实现真正的实时推理。
• 在RGBD135数据集上，模型在MAE指标上提升16.36%，在Fβ^mean指标上提升5.44%（相比基线Cat He方法）。
• 深度增强双注意力模块（DEDA）在RGBD135数据集上相比掩码引导注意力，Fβ^max提升2.1%，Fβ^mean提升1.8%。
• 分层注意力特征提取（PAFE）模块在仅增加少量FLOPs（4.00G vs. 3.86G）与参数量（7.07M vs. 6.82M）的前提下，优于ASPP模块。
• 可视化结果表明，DEDA能有效纠正前景与背景区域的误分类，尤其在低对比度与杂乱场景中表现显著。