[论文解读] Joint Salient Object Detection and Camouflaged Object Detection via Uncertainty-aware Learning

Aixuan Li, Jing Zhang+5 more|arXiv (Cornell University)|Jul 10, 2023

Visual Attention and Saliency DetectionComputer Science被引用 3

一句话总结

本文提出了一种新颖的联合学习框架，用于显著性物体检测（SOD）与伪装物体检测（COD），通过不确定性感知学习建模二者之间的固有矛盾。该方法引入基于数据交互的增强策略、任务特定对比学习模块以及不确定性估计，以提升模型鲁棒性与性能，在基准数据集上取得了最先进结果，并生成具有信息量的不确定性图。

ABSTRACT

Salient objects attract human attention and usually stand out clearly from their surroundings. In contrast, camouflaged objects share similar colors or textures with the environment. In this case, salient objects are typically non-camouflaged, and camouflaged objects are usually not salient. Due to this inherent contradictory attribute, we introduce an uncertainty-aware learning pipeline to extensively explore the contradictory information of salient object detection (SOD) and camouflaged object detection (COD) via data-level and task-wise contradiction modeling. We first exploit the dataset correlation of these two tasks and claim that the easy samples in the COD dataset can serve as hard samples for SOD to improve the robustness of the SOD model. Based on the assumption that these two models should lead to activation maps highlighting different regions of the same input image, we further introduce a contrastive module with a joint-task contrastive learning framework to explicitly model the contradictory attributes of these two tasks. Different from conventional intra-task contrastive learning for unsupervised representation learning, our contrastive module is designed to model the task-wise correlation, leading to cross-task representation learning. To better understand the two tasks from the perspective of uncertainty, we extensively investigate the uncertainty estimation techniques for modeling the main uncertainties of the two tasks, namely task uncertainty (for SOD) and data uncertainty (for COD), and aiming to effectively estimate the challenging regions for each task to achieve difficulty-aware learning. Experimental results on benchmark datasets demonstrate that our solution leads to both state-of-the-art performance and informative uncertainty estimation.

研究动机与目标

• 为解决显著性物体与伪装物体之间的固有矛盾，即高显著性意味着低伪装性，反之亦然。
• 通过在数据层面建模矛盾，将COD中的简单样本重用为SOD的困难样本，以提升模型鲁棒性。
• 通过对比学习模块显式建模任务间的相关性，促使同一输入在SOD与COD任务上产生差异化的激活图。
• 通过不确定性估计实现难度感知学习，区分任务不确定性（SOD）与数据不确定性（COD）。
• 实现单前向传播的不确定性估计，以增强可解释性与模型可靠性。

提出的方法

• 提出一种'基于数据交互的数据增强'策略，将COD数据集中易于识别的样本重新用作SOD的困难样本，以提升模型鲁棒性。
• 提出一种任务特定的对比学习模块，促使同一张图像在SOD与COD任务上产生差异化的特征表示，促进跨任务表征学习。
• 针对COD数据集特别设计前景裁剪数据增强，模拟真实世界中的变化，提升对小尺寸或复杂伪装物体的检测能力。
• 设计一种基于对抗学习的置信度估计模块，其中判别器通过学习预测值与真实值之间的残差来识别不确定区域。
• 通过在裁剪操作下对多个预测结果的方差进行不确定性估计，与伪装区域的可检测性及复杂度保持一致。
• 采用多任务训练策略，结合每5步一次的调度式对比学习与平衡损失加权，以缓解SOD与COD之间目标冲突的问题。

实验结果

研究问题

• RQ1 如何利用显著性物体与伪装物体之间的固有矛盾，以提升联合检测任务中的模型泛化能力？
• RQ2 COD数据集中的简单样本能否有效作为SOD的困难样本？这种数据层面的交互如何提升性能？
• RQ3 如何通过任务特定的对比学习有效建模SOD与COD在特征需求上的差异，同时避免收敛问题？
• RQ4 通过预测方差与对抗学习进行不确定性估计，在多大程度上能提升检测的可靠性与可解释性？
• RQ5 在联合SOD-COD框架中，哪些超参数设置能够在性能与不确定性估计质量之间实现最佳平衡？

主要发现

• 所提出的交互数据策略显著提升了SOD性能，使用PASCAL VOC 2007中403张图像作为硬样本，取得了更优的SOD结果。
• 任务特定的对比学习提升了SOD性能，如表III中从'JSOD1'到'JSOD2'的性能提升所示，尽管由于目标冲突，COD性能略有下降。
• 针对COD的前景裁剪数据增强提升了对小尺寸或复杂伪装物体的检测能力，且不确定性图与区域级可检测性高度一致。
• 不确定性估计模块生成了可靠的单前向传播不确定性图，其与模型难度高度相关，经由基于残差的判别器训练得到验证。
• 联合框架在基准数据集上实现了最先进性能，验证了不确定性感知与矛盾感知学习的有效性。
• 超参数调优（包括对比损失权重0.1与对抗损失权重1.0）在性能与不确定性估计质量之间实现了良好平衡。