[论文解读] Cross-Modal Weighting Network for RGB-D Salient Object Detection

Gongyang Li, Zhi Liu+3 more|arXiv (Cornell University)|Jul 9, 2020

Visual Attention and Saliency Detection参考文献 44被引用 7

一句话总结

本文提出了一种新型的RGB-D显著性目标检测框架——跨模态加权网络（CMWNet），通过三个专用模块——CMW-L、CMW-M 和 CMW-H——增强跨模态与跨尺度特征交互，采用深度图到RGB的加权（DW）与RGB到RGB的加权（RW）。CMWNet在七个基准数据集上达到最先进性能，在NJU-Depth数据集上的平均F-measure达到0.907。

ABSTRACT

Depth maps contain geometric clues for assisting Salient Object Detection (SOD). In this paper, we propose a novel Cross-Modal Weighting (CMW) strategy to encourage comprehensive interactions between RGB and depth channels for RGB-D SOD. Specifically, three RGB-depth interaction modules, named CMW-L, CMW-M and CMW-H, are developed to deal with respectively low-, middle- and high-level cross-modal information fusion. These modules use Depth-to-RGB Weighing (DW) and RGB-to-RGB Weighting (RW) to allow rich cross-modal and cross-scale interactions among feature layers generated by different network blocks. To effectively train the proposed Cross-Modal Weighting Network (CMWNet), we design a composite loss function that summarizes the errors between intermediate predictions and ground truth over different scales. With all these novel components working together, CMWNet effectively fuses information from RGB and depth channels, and meanwhile explores object localization and details across scales. Thorough evaluations demonstrate CMWNet consistently outperforms 15 state-of-the-art RGB-D SOD methods on seven popular benchmarks.

研究动机与目标

• 解决现有RGB-D SOD方法中跨模态与跨尺度特征交互有限的问题。
• 通过利用深度图提供的互补几何线索与RGB特征，提升显著性目标检测性能。
• 设计一种多级编码器-解码器架构，增强低、中、高层特征表示之间的特征融合。
• 通过消融研究与定量比较，验证深度引导特征增强的有效性。

提出的方法

• 提出一种三级编码器-解码器架构，从RGB与深度输入中捕捉低、中、高层特征。
• 引入三个跨模态加权（CMW）模块——CMW-L、CMW-M 和 CMW-H——专门用于跨尺度与跨模态特征增强。
• 采用深度图到RGB的加权（DW）机制，利用深度响应图增强RGB特征；采用RGB到RGB的加权（RW）机制，基于自身响应对RGB特征进行优化。
• 在DW与RW中使用全局滤波器（GF）聚合上下文信息，提升特征表示能力。
• 采用复合损失函数，结合中间预测的多尺度监督，提升训练稳定性和性能。
• 在解码器中应用深度尺度监督，通过多个阶段的中间预测逐步优化显著性图。

实验结果

研究问题

• RQ1 如何有效建模RGB与深度特征之间的跨模态与跨尺度交互，以提升显著性目标检测性能？
• RQ2 通过DW实现的深度引导特征增强与通过RW实现的RGB自增强，在提升检测精度中的贡献分别是什么？
• RQ3 相邻卷积块之间的跨尺度加权与非相邻或同尺度加权相比，在性能与特征连续性方面表现如何？
• RQ4 解码器中的深度尺度监督在多大程度上提升了最终显著性预测的质量？

主要发现

• CMWNet在七个公开的RGB-D SOD基准上达到最先进性能，优于15种SOTA方法，在六个评估指标上表现优异。
• 消融研究显示，移除CMW-L与CMW-M会导致性能显著下降（例如，在NJU2K数据集上F-measure从0.902降至0.894），证实其在细节增强中的关键作用。
• 移除CMW-H导致性能明显退化（例如，在SSD数据集上F-measure从0.871降至0.845），表明其在显著性目标定位中的核心作用。
• 所提出的DW与RW加权机制优于拼接操作（w/o Wei），且DW在边界清晰度方面表现优于RW。
• 相邻块之间的跨尺度加权（Ours）优于非相邻（C2S）与同尺度（w/o CS）变体，证明其在保持特征连续性方面的优越性。
• 与仅使用最终阶段监督相比，深度尺度监督（多阶段中间监督）显著提升最终性能（w/o DS），证实其在特征精炼中的必要性。