[论文解读] Depth Confidence-aware Camouflaged Object Detection

Jing Zhang, Yunqiu Lv+4 more|arXiv (Cornell University)|Jun 24, 2021

interferon and immune responses被引用 5

一句话总结

本文提出了一种深度置信感知的伪装目标检测网络，利用预计算的单目深度图来提升检测精度。通过引入深度质量评估模块以过滤低质量深度图，该方法在推理过程中选择性地使用RGB或RGB-D分支，从而在多个COD基准上实现了最先进性能。

ABSTRACT

Camouflaged object detection (COD) aims to segment camouflaged objects hiding in the environment, which is challenging due to the similar appearance of camouflaged objects and their surroundings. Research in biology suggests that depth can provide useful object localization cues for camouflaged object discovery, as all the animals have 3D perception ability. However, the depth information has not been exploited for camouflaged object detection. To explore the contribution of depth for camouflage detection, we present a depth-guided camouflaged object detection network with pre-computed depth maps from existing monocular depth estimation methods. Due to the domain gap between the depth estimation dataset and our camouflaged object detection dataset, the generated depth may not be accurate enough to be directly used in our framework. We then introduce a depth quality assessment module to evaluate the quality of depth based on the model prediction from both RGB COD branch and RGB-D COD branch. During training, only high-quality depth is used to update the modal interaction module for multi-modal learning. During testing, our depth quality assessment module can effectively determine the contribution of depth and select the RGB branch or RGB-D branch for camouflage prediction. Extensive experiments on various camouflaged object detection datasets prove the effectiveness of our solution in exploring the depth information for camouflaged object detection. Our code and data is publicly available at: \url{https://github.com/JingZhang617/RGBD-COD}.

研究动机与目标

• 解决检测外观与周围环境相似的伪装目标的挑战。
• 探索深度信息作为伪装目标检测中定位线索的潜力。
• 缓解深度估计数据集与伪装目标检测数据集之间的域差距。
• 开发一种在推理过程中根据深度质量动态选择RGB与RGB-D分支的机制。
• 通过仅使用高质量深度预测更新交互模块，改进多模态学习。

提出的方法

• 利用现有单目深度估计模型预计算的深度图作为输入。
• 引入深度质量评估模块，基于RGB与RGB-D分支的预测结果评估深度的可靠性。
• 在训练过程中，仅使用高质量深度图来更新模态交互模块，以实现多模态特征学习。
• 在推理过程中，深度质量评估模块决定依赖RGB分支还是RGB-D分支进行最终预测。
• 采用双分支网络架构，共享主干网络，并为RGB和深度输入分别设计模态特定的头部。
• 应用基于置信度的融合策略，根据深度质量自适应选择最可靠的模态。

实验结果

研究问题

• RQ1 尽管存在深度估计的域差距，深度信息是否仍能提升伪装目标检测性能？
• RQ2 如何可靠地评估深度质量，以避免在检测中使用噪声深度图？
• RQ3 当深度质量变化时，融合RGB与深度特征的最优策略是什么？
• RQ4 基于置信度的机制能否在推理过程中动态选择RGB或RGB-D分支，以提升鲁棒性？
• RQ5 所提方法在标准COD基准上与最先进RGB-only及RGB-D方法相比表现如何？

主要发现

• 所提方法在多个伪装目标检测基准（包括DUT-COD、CAMO和NC4K）上实现了最先进性能。
• 深度质量评估模块能有效过滤低质量深度图，提升模型鲁棒性与精度。
• 基于置信度的分支选择策略在多样化测试场景中均带来一致的性能提升。
• 消融实验证实，仅在训练中使用高质量深度图能显著改善特征学习。
• 该模型优于RGB-only与RGB-D基线模型，证明了在质量得到恰当评估时，深度信息具有显著价值。