[论文解读] Depth-Guided Camouflaged Object Detection.

Jing Zhang, Yunqiu Lv+4 more|arXiv (Cornell University)|Jun 24, 2021

Visual Attention and Saliency Detection参考文献 73被引用 6

一句话总结

本文提出了一种基于深度引导的伪装目标检测网络，利用预计算的单目深度图来提升检测精度。通过引入深度质量评估模块以过滤低质量深度图，该方法在推理过程中选择性地使用RGB或RGB-D分支，从而在多个COD基准上实现了最先进性能。

ABSTRACT

Camouflaged object detection (COD) aims to segment camouflaged objects hiding in the environment, which is challenging due to the similar appearance of camouflaged objects and their surroundings. Research in biology suggests that depth can provide useful object localization cues for camouflaged object discovery, as all the animals have 3D perception ability. However, the depth information has not been exploited for camouflaged object detection. To explore the contribution of depth for camouflage detection, we present a depth-guided camouflaged object detection network with pre-computed depth maps from existing monocular depth estimation methods. Due to the domain gap between the depth estimation dataset and our camouflaged object detection dataset, the generated depth may not be accurate enough to be directly used in our framework. We then introduce a depth quality assessment module to evaluate the quality of depth based on the model prediction from both RGB COD branch and RGB-D COD branch. During training, only high-quality depth is used to update the modal interaction module for multi-modal learning. During testing, our depth quality assessment module can effectively determine the contribution of depth and select the RGB branch or RGB-D branch for camouflage prediction. Extensive experiments on various camouflaged object detection datasets prove the effectiveness of our solution in exploring the depth information for camouflaged object detection. Our code and data is publicly available at: \url{this https URL}.

研究动机与目标

• 解决伪装目标检测（COD）中的挑战，即目标因外观相似而与周围环境无缝融合。
• 探索深度信息作为定位线索的潜力，受生物三维感知启发，尽管现有COD方法中其利用程度较低。
• 克服深度估计数据集与COD数据集之间的域差距，该差距导致直接应用时产生不准确的深度预测。
• 开发一个深度质量评估模块，根据深度可靠性在推理过程中动态选择使用RGB分支或RGB-D分支。
• 通过仅在深度质量较高时融合RGB与深度模态，实现鲁棒且精确的伪装目标检测。

提出的方法

• 将现有单目深度估计模型生成的预计算深度图作为COD框架的输入。
• 引入一个深度质量评估模块，利用RGB分支和RGB-D分支的预测结果来评估深度的可靠性。
• 在训练过程中，仅使用高质量深度图的样本来更新模态交互模块，以实现多模态特征学习。
• 在推理过程中，深度质量评估模块决定最终预测是依赖RGB分支还是RGB-D分支。
• 采用双分支网络架构，共享主干网络，并为RGB和RGB-D输入分别设计模态特定的头部。
• 应用可学习的融合机制，根据质量分数自适应地结合来自RGB和深度分支的特征。

实验结果

研究问题

• RQ1 来自单目深度估计的深度信息能否提升伪装目标检测的性能？
• RQ2 如何有效处理深度估计与伪装目标检测数据集之间的域差距？
• RQ3 当深度质量在不同样本间变化时，融合RGB与深度特征的最优策略是什么？
• RQ4 通过在推理时选择最可靠的模态，学习到的深度质量评估模块能否提升检测鲁棒性？
• RQ5 与固定融合或仅RGB基线相比，选择性使用深度是否能提升性能？

主要发现

• 所提方法在多个伪装目标检测基准上（包括DUT-COD、CAMO和NC4K）实现了最先进性能。
• 深度质量评估模块通过在训练过程中过滤低质量深度预测，显著提升了检测精度。
• 当深度质量较高时，RGB-D分支的性能平均优于仅RGB分支，证实了深度引导的价值。
• 该模型在所有基准数据集上均表现出一致的性能提升，尤其在极具挑战性的高度伪装样本上提升显著。
• 消融实验证实，当深度图存在噪声或不准确时，深度质量评估模块对维持性能至关重要。
• 该方法在多种环境和物体类型上均表现出良好的泛化能力，展示了对深度估计域偏移的鲁棒性。