[论文解读] Cross-modality Discrepant Interaction Network for RGB-D Salient Object Detection

Chen Zhang, Runmin Cong+5 more|arXiv (Cornell University)|Aug 4, 2021

Visual Attention and Saliency Detection参考文献 45被引用 5

一句话总结

本文提出了一种用于RGB-D显著性目标检测的跨模态差异交互网络（CDINet），通过差异化地利用RGB模态增强深度特征细节（RDE模块）和利用深度模态提升RGB语义表示（DSE模块），在早期网络层中实现RGB对深度特征的细节增强，后期网络层中实现深度对RGB语义的增强，同时通过密集解码重构（DDR）模块融合多层级特征，实现更优的跳跃连接。CDINet在五个基准数据集上实现了最先进性能，推理速度达42 FPS。

ABSTRACT

The popularity and promotion of depth maps have brought new vigor and vitality into salient object detection (SOD), and a mass of RGB-D SOD algorithms have been proposed, mainly concentrating on how to better integrate cross-modality features from RGB image and depth map. For the cross-modality interaction in feature encoder, existing methods either indiscriminately treat RGB and depth modalities, or only habitually utilize depth cues as auxiliary information of the RGB branch. Different from them, we reconsider the status of two modalities and propose a novel Cross-modality Discrepant Interaction Network (CDINet) for RGB-D SOD, which differentially models the dependence of two modalities according to the feature representations of different layers. To this end, two components are designed to implement the effective cross-modality interaction: 1) the RGB-induced Detail Enhancement (RDE) module leverages RGB modality to enhance the details of the depth features in low-level encoder stage. 2) the Depth-induced Semantic Enhancement (DSE) module transfers the object positioning and internal consistency of depth features to the RGB branch in high-level encoder stage. Furthermore, we also design a Dense Decoding Reconstruction (DDR) structure, which constructs a semantic block by combining multi-level encoder features to upgrade the skip connection in the feature decoding. Extensive experiments on five benchmark datasets demonstrate that our network outperforms $15$ state-of-the-art methods both quantitatively and qualitatively. Our code is publicly available at: https://rmcong.github.io/proj_CDINet.html.

研究动机与目标

• 为解决现有RGB-D SOD方法对模态处理对称或单向的问题，本研究探索一种更细致、与网络层相关联的跨模态交互策略。
• 通过利用RGB与深度模态的互补优势——RGB提供精细细节，深度提供结构一致性——来改进特征表示。
• 设计一种轻量化但高效的网络架构，通过模态特异性引导增强低层细节与高层语义。
• 在保持优异准确率的同时，实现真实时间推理（42 FPS）并适用于多样化的基准数据集。

提出的方法

• RGB诱导的细节增强（RDE）模块通过注入高分辨率RGB特征，提升编码器早期层的深度特征，增强边界与纹理细节。
• 深度诱导的语义增强（DSE）模块在深层网络中将基于深度的物体定位与内部一致性信息传递至RGB分支，优化语义表示。
• 密集解码重构（DDR）结构将多层级编码器特征融合为一个语义块，替代标准跳跃连接，提升解码路径中的特征融合效果。
• 网络采用双流主干网络，结合非对称、分层的跨模态交互机制，根据不同层级的特征表示建模模态依赖关系。
• RDE与DSE模块按需选择性应用——RDE用于早期层，DSE用于后期层——基于各模态在不同抽象层级中的独特作用。
• 整个框架采用端到端训练，损失函数结合二元交叉熵与Dice损失，用于显著性预测。

实验结果

研究问题

• RQ1 非均匀、分层的跨模态交互策略是否能优于对称或单向交互策略在RGB-D SOD中的表现？
• RQ2 如何在不同网络深度下差异化地利用RGB与深度模态以改善特征表示？
• RQ3 在解码路径中，用密集特征融合机制替代标准跳跃连接会产生何种影响？
• RQ4 所提出的差异交互设计是否在计算成本更低的前提下，相比对称或单向方法实现更优性能？

主要发现

• CDINet在五个基准数据集上超越15种SOTA方法，所有数据集的最高F-measure与S-measure均达到最优。
• 当移除DSE模块时，NLPR数据集的max F-measure下降1.1%，DUT数据集下降1.6%，证实其在语义精炼中的关键作用。
• 与标准跳跃连接相比，DDR结构在DUT数据集上将max F-measure提升0.8%，MAE降低9.6%。
• 所提出的差异交互模式（CDINet）在性能上优于单向（仅RSE）与双向（对称RSE与DSE）变体，且参数量更少、推理速度更快。
• 模型运行速度达42 FPS，实现实时推理，同时保持最先进准确率，展现出速度与性能之间的理想权衡。
• 可视化结果表明，DSE模块增强了RGB特征中的物体响应并抑制了背景噪声，表明其在注意力与特征层面实现了有效交互。