[论文解读] Exploring Depth Contribution for Camouflaged Object Detection

Mochu Xiang, Jing Zhang+4 more|arXiv (Cornell University)|Jun 24, 2021

Image Enhancement Techniques被引用 9

一句话总结

本论文提出首个基于深度图的伪装目标检测（COD）框架，利用单目深度估计（MDE）生成的深度图，解决了导致深度预测噪声的域差距问题。该框架引入了辅助深度估计分支（ADE）以优化深度图质量，并提出基于生成对抗网络（GAN）的置信度感知损失，动态调整RGB与深度模态的贡献权重，显著提升了在生成深度图上的标准RGB-D融合方法的性能。

ABSTRACT

Camouflaged object detection (COD) aims to segment camouflaged objects hiding in the environment, which is challenging due to the similar appearance of camouflaged objects and their surroundings. Research in biology suggests depth can provide useful object localization cues for camouflaged object discovery. In this paper, we study the depth contribution for camouflaged object detection, where the depth maps are generated with existing monocular depth estimation (MDE) methods. Due to the domain gap between the MDE dataset and our COD dataset, the generated depth maps are not accurate enough to be directly used. We then introduce two solutions to avoid the noisy depth maps from dominating the training process. Firstly, we present an auxiliary depth estimation branch ("ADE"), aiming to regress the depth maps. We find that "ADE" is especially necessary for our "generated depth" scenario. Secondly, we introduce a multi-modal confidence-aware loss function via a generative adversarial network to weigh the contribution of depth for camouflaged object detection. Our extensive experiments on various camouflaged object detection datasets explain that the existing "sensor depth" based RGB-D segmentation techniques work poorly with "generated depth", and our proposed two solutions work cooperatively, achieving effective depth contribution exploration for camouflaged object detection.

研究动机与目标

• 解决伪装目标检测（COD）中的挑战，即目标因外观相似而与周围环境无缝融合。
• 探究通过单目深度估计（MDE）生成的深度图是否能在MDE与COD数据集之间存在域差距的情况下，提升COD性能。
• 克服MDE生成的深度图存在噪声与不准确的问题，这些噪声在训练过程中会降低模型性能。
• 设计一种稳健的多模态学习策略，有效利用深度信息，同时避免被噪声预测主导。
• 提出一种新颖的框架，结合深度监督与不确定性感知学习，提升COD任务中的泛化能力。

提出的方法

• 引入辅助深度估计分支（ADE），利用MDE生成的深度图作为监督信号，回归优化后的深度图，从而在‘生成深度’场景下提升深度图质量。
• 利用生成对抗网络（GAN）估计RGB与RGB-D分支的预测置信度（不确定性），实现置信度感知的损失加权。
• 设计一种多模态置信度感知损失函数，为更自信的预测分配更高的学习权重，从而降低噪声深度图的影响。
• 实现三种融合策略——早期融合、跨层级融合与晚期融合，对比有无深度信息时的性能，验证所提组件的有效性。
• 通过多任务学习在ADE分支中端到端联合优化COD与深度回归任务。
• 使用不确定性图 $U_{\text{rgb}}$ 与 $U_{\text{rgbd}}$ 作为置信度的反向指标，在训练过程中动态调整各模态的贡献。

实验结果

研究问题

• RQ1 尽管存在域偏移，通过单目深度估计（MDE）生成的深度图是否能有效提升伪装目标检测性能？
• RQ2 当传统基于传感器深度的多模态学习框架应用于生成深度图而非真实传感器深度时，其性能会如何退化？
• RQ3 在生成深度场景下，辅助深度估计分支（ADE）在多大程度上提升了深度图质量与下游COD性能？
• RQ4 基于GAN的不确定性估计的置信度感知损失函数是否能有效降低噪声深度预测的负面影响？
• RQ5 在何种场景下深度能增强COD性能，而在何种情况下会因深度估计不准确而降低性能？

主要发现

• 传统基于传感器深度的多模态学习框架在生成深度图上表现不佳，所有测试的COD数据集上性能均低于仅使用RGB的基线模型。
• 所提出的辅助深度估计（ADE）分支显著提升了深度图质量，尤其在‘生成深度’场景中至关重要。
• 基于GAN的置信度感知损失函数通过为不确定预测分配较低权重，有效降低了噪声深度预测的影响。
• ADE与置信度感知损失的结合带来了更优的性能，RGB-D模型在所有基准数据集上均优于仅使用RGB的模型。
• 在深度变化较大或伪装目标占主导的情况下，若未正确加权，深度信息可能误导检测，证实深度具有双刃剑特性。
• 定性结果表明，当生成的深度图比原始图像更能突出伪装目标时，深度信息能提升检测性能；否则，性能会下降。