[论文解读] CNN-based RGB-D Salient Object Detection: Learn, Select and Fuse

Hao Chen, Youfu Li|arXiv (Cornell University)|Sep 20, 2019

Visual Attention and Saliency Detection参考文献 54被引用 7

一句话总结

本文提出了一种基于CNN的RGB-D显著目标检测框架，通过分层跨模态蒸馏、基于残差的互补线索选择器和自顶向下的融合网络，系统性地解决了模态特定表征学习、互补线索选择和跨模态融合的问题。该方法通过利用RGB监督在有限标注数据下训练深度特征，实现了在外观相似或背景复杂的挑战性场景中鲁棒且均匀的显著性预测，性能达到当前最先进水平。

ABSTRACT

The goal of this work is to present a systematic solution for RGB-D salient object detection, which addresses the following three aspects with a unified framework: modal-specific representation learning, complementary cue selection and cross-modal complement fusion. To learn discriminative modal-specific features, we propose a hierarchical cross-modal distillation scheme, in which the well-learned source modality provides supervisory signals to facilitate the learning process for the new modality. To better extract the complementary cues, we formulate a residual function to incorporate complements from the paired modality adaptively. Furthermore, a top-down fusion structure is constructed for sufficient cross-modal interactions and cross-level transmissions. The experimental results demonstrate the effectiveness of the proposed cross-modal distillation scheme in zero-shot saliency detection and pre-training on a new modality, as well as the advantages in selecting and fusing cross-modal/cross-level complements.

研究动机与目标

• 为解决RGB-D显著目标检测中深度数据标注有限的挑战，实现有效的模态特定表征学习。
• 通过自适应选择来自RGB和深度模态的互补线索，改进跨模态融合。
• 实现跨模态和跨层级特征的充分融合，以支持联合决策。
• 通过来自训练良好的源模态的知识迁移，实现在新模态上的零样本显著性检测。
• 克服现有双流网络依赖单层融合且缺乏自适应互补选择的局限性。

提出的方法

• 提出一种分层跨模态蒸馏方案，其中训练良好的RGB网络为深度特征学习提供监督信号，而无需依赖标注的深度数据。
• 采用残差函数显式建模并自适应选择RGB与深度模态之间的互补特征。
• 设计一种自顶向下的融合结构，实现在多个特征层次间跨层级和跨模态的交互。
• 使用HHA编码将深度图转换为三通道表示，以提升几何线索的利用效率。
• 在蒸馏过程中将L2损失替换为交叉熵损失，以在训练期间使辅助输出与真实显著性掩码对齐。
• 采用多尺度融合策略，通过组合不同层级和模态的特征，逐步优化显著性图。

实验结果

研究问题

• RQ1 在标注深度数据稀缺的情况下，跨模态蒸馏方案能否有效学习判别性深度特征？
• RQ2 如何自适应选择来自RGB和深度模态的互补线索以提升显著性检测性能？
• RQ3 结合跨层级特征的自顶向下融合机制是否能带来更好的表征学习和检测性能？
• RQ4 所提方法能否在无需微调的情况下泛化至新模态的零样本显著性检测？
• RQ5 与早期或晚期融合相比，所提融合策略在保留空间细节和上下文一致性方面表现如何？

主要发现

• 所提方法在基准数据集上优于11种当前最先进RGB-D显著目标检测方法，在F-measure、平均绝对误差和Fβ-score上均有显著提升。
• 分层跨模态蒸馏方案通过从RGB模态迁移知识，即使无标注深度注释，也能实现有效的零样本显著性检测。
• 结合跨层级特征交互的自顶向下融合结构带来了更丰富的表征，相较于单层融合基线，F-measure提升达3.5%。
• 基于残差的互补选择器通过聚焦于信息丰富且非冗余的线索，增强了特征融合，生成了更均匀且细节更丰富的显著性图。
• 在具有挑战性的场景中——如目标与背景外观相似、深度分布不均匀或背景复杂杂乱——模型仍保持高精度和一致性，优于仅使用RGB的方法（如DSS）。
• 表4的定量结果表明，传输跨层级特征可提升性能，证实了多层级交互在融合中的重要性。