[论文解读] Depth Quality-Inspired Feature Manipulation for Efficient RGB-D Salient Object Detection

Wenbo Zhang, Ge-Peng Ji+3 more|arXiv (Cornell University)|Jul 5, 2021

Visual Attention and Saliency Detection参考文献 64被引用 4

一句话总结

本文提出 DFM-Net，一种轻量级 RGB-D 显著性物体检测模型，通过基于深度质量的特征操作（DQFM）动态加权深度特征，以提升跨模态融合效果，同时应用整体注意力机制以增强鲁棒性。DFM-Net 仅使用 8.5MB 模型大小和 140ms 的 CPU 推理时间，实现了最先进（SOTA）的检测精度，推理速度比先前高效的模型快 2.2 倍，通过集成定制化的深度主干网络和两阶段解码器，显著提升了效率。

ABSTRACT

RGB-D salient object detection (SOD) recently has attracted increasing research interest by benefiting conventional RGB SOD with extra depth information. However, existing RGB-D SOD models often fail to perform well in terms of both efficiency and accuracy, which hinders their potential applications on mobile devices and real-world problems. An underlying challenge is that the model accuracy usually degrades when the model is simplified to have few parameters. To tackle this dilemma and also inspired by the fact that depth quality is a key factor influencing the accuracy, we propose a novel depth quality-inspired feature manipulation (DQFM) process, which is efficient itself and can serve as a gating mechanism for filtering depth features to greatly boost the accuracy. DQFM resorts to the alignment of low-level RGB and depth features, as well as holistic attention of the depth stream to explicitly control and enhance cross-modal fusion. We embed DQFM to obtain an efficient light-weight model called DFM-Net, where we also design a tailored depth backbone and a two-stage decoder for further efficiency consideration. Extensive experimental results demonstrate that our DFM-Net achieves state-of-the-art accuracy when comparing to existing non-efficient models, and meanwhile runs at 140ms on CPU (2.2$ imes$ faster than the prior fastest efficient model) with only $\sim$8.5Mb model size (14.9% of the prior lightest). Our code will be available at https://github.com/zwbx/DFM-Net.

研究动机与目标

• 解决 RGB-D 显著性物体检测中效率与精度之间的权衡，尤其针对移动端部署场景。
• 识别深度质量作为影响模型精度的关键因素，特别是在低质量或噪声较多的深度图中。
• 提出一种机制，根据深度质量显式控制深度特征融合，以提升模型鲁棒性。
• 设计一种轻量级、高效的网络架构，参数量极少且推理速度快。
• 集成定制化的深度主干网络和两阶段解码器，进一步降低计算成本，同时不牺牲性能。

提出的方法

• 提出基于深度质量的特征操作（DQFM），一种门控机制，利用边界对齐（BA）评估深度质量，并为深度特征分配自适应权重。
• 引入深度质量加权（DQW），根据 RGB 特征与深度特征之间的边界对齐程度，动态提升高质量深度特征的关注度。
• 实现通道级整体注意力（DHA），通过可学习的注意力机制重新校准高层深度特征，以增强显著区域的表征能力。
• 设计定制化的深度主干网络（TDB），专为深度数据处理优化，将模型大小从 MobileNet-V2 的 6.9MB 降低至 0.9MB。
• 采用两阶段解码器，逐步优化预测结果，提升特征表示能力的同时保持高效性。
• 采用多变量策略调节 DQW 和 DHA 的参数，实现不同特征层级上质量权重和注意力图的分层自适应。

Figure 1. Average probability distributions (solid curves) of edge Dice coefficients computed from “Good quality”, “Bad quality”, and “Mismatch” subsets (10 times random sampling), as well as the probability distributions (dash curves) of the whole STERE and SIP datasets. The right images show three

实验结果

研究问题

• RQ1 能否有效利用深度质量作为信号，以提升 RGB-D 显著性物体检测中的跨模态融合性能？
• RQ2 如何在大幅减少参数量和推理时间的前提下，使轻量级模型仍保持高精度？
• RQ3 RGB 与深度特征之间的边界对齐程度在多大程度上与深度质量及检测性能相关？
• RQ4 专用的轻量化深度主干网络是否能在显著性物体检测中，优于 MobileNet-V2 等标准主干网络？
• RQ5 采用渐进式优化的两阶段解码器是否能在不增加计算成本的前提下提升检测精度？

主要发现

• DFM-Net 在标准 RGB-D SOD 基准测试中，作为轻量级模型实现了最先进（SOTA）的精度表现，优于先前高效的模型。
• 该模型在 CPU 上的推理时间仅为 140ms，比之前最快的高效模型快 2.2 倍。
• DFM-Net 的模型大小仅为 8.5MB，相当于之前最轻模型大小的 14.9%。
• 定制化的深度主干网络（TDB）将模型大小降至 0.9MB，相比 MobileNet-V2 减少了 87%，同时提升了精度。
• 消融实验表明，DQW 和 DHA 均为关键组件：DQW 提升了对低质量深度图的鲁棒性，DHA 通过最优利用 2x F_rec 操作实现更优的特征重校准。
• 针对 DQW 和 DHA 参数的多变量策略提升了网络灵活性，性能优于单变量参数设置方案。

Figure 2. Block diagram of the proposed DFM-Net . Best view in color.