[论文解读] Uncertainty-aware Joint Salient Object and Camouflaged Object Detection

Aixuan Li, Jing Zhang+4 more|arXiv (Cornell University)|Apr 6, 2021

Visual Attention and Saliency Detection参考文献 55被引用 23

一句话总结

本文提出了一种新颖的不确定性感知联合学习框架，用于显著性物体检测（SOD）与伪装物体检测（COD），通过相似性度量模块和对抗性学习，利用两任务之间的矛盾属性进行置信度估计。通过将容易的COD样本视为SOD的困难正样本，并使用PASCAL VOC作为连接数据集，该方法在六个SOD和三个COD基准上实现了最先进性能，同时提升了鲁棒性与不确定性感知预测能力。

ABSTRACT

Visual salient object detection (SOD) aims at finding the salient object(s) that attract human attention, while camouflaged object detection (COD) on the contrary intends to discover the camouflaged object(s) that hidden in the surrounding. In this paper, we propose a paradigm of leveraging the contradictory information to enhance the detection ability of both salient object detection and camouflaged object detection. We start by exploiting the easy positive samples in the COD dataset to serve as hard positive samples in the SOD task to improve the robustness of the SOD model. Then, we introduce a similarity measure module to explicitly model the contradicting attributes of these two tasks. Furthermore, considering the uncertainty of labeling in both tasks' datasets, we propose an adversarial learning network to achieve both higher order similarity measure and network confidence estimation. Experimental results on benchmark datasets demonstrate that our solution leads to state-of-the-art (SOTA) performance for both tasks.

研究动机与目标

• 为解决仅通过网络架构与损失设计难以获得显著性能提升的问题，重新思考SOD与COD中的数据利用方式。
• 通过联合训练两个任务，利用显著性与伪装性物体之间的固有矛盾——即高显著性意味着低伪装性，反之亦然——来挖掘其内在关联。
• 通过重用COD数据集中易于检测的样本作为SOD的困难样本，提升模型鲁棒性，增强特征学习能力。
• 由于主观标注模糊性和标注难度，显式建模两个任务中的预测不确定性。
• 通过相似性度量模块，利用外部数据集（PASCAL VOC 2007）在SOD与COD之间建立联系，以强制实现注意力的差异性。

提出的方法

• 提出一种共享特征编码器但使用独立预测解码器的联合训练流程，支持跨任务知识迁移。
• 引入一种“相似性度量”模块，通过最小化两个任务之间的特征相似性，促使网络在SOD与COD任务中激活不同的图像区域。
• 使用PASCAL VOC 2007作为辅助数据集，建模任务间差异性，确保SOD与COD关注不同的图像区域。
• 采用对抗性学习分支以估计网络置信度，并对预测中的不确定性进行建模，尤其针对两任务中模糊标注的情况。
• 应用全卷积判别器与加权损失函数，平衡不确定性估计与主任务性能。
• 实施一种数据交互策略：将COD中易于检测的伪装物体（如北极熊）作为SOD的困难正样本，以提升鲁棒性。

实验结果

研究问题

• RQ1 能否通过利用显著性与伪装性物体之间的矛盾属性来提升两个任务的检测性能？
• RQ2 如何有效将伪装物体检测数据集中易于检测的样本重新用作显著性物体检测的困难样本？
• RQ3 能否通过强制SOD与COD之间特征差异性的相似性度量模块，提升泛化能力与鲁棒性？
• RQ4 对抗性学习在模糊标注的SOD与COD任务中，能在多大程度上改善不确定性估计？
• RQ5 通过外部连接数据集（PASCAL VOC）进行联合训练，是否能超越单一任务训练的性能表现？

主要发现

• 所提出的联合框架在六个SOD基准数据集和三个COD基准上均达到最先进性能，COD10K上的mF-score达到0.943，DUT-ESIM上的F-measure达到0.894。
• 相似性度量模块显著提升了COD性能，尤其在COD10K上，F-measure相比基线联合训练提升了1.0%。
• 用于不确定性估计的对抗性学习提升了置信度校准效果，且未损害主任务性能，在小对抗损失权重（λ=0.01）下实现稳定结果。
• 将容易的COD样本作为SOD的困难正样本，显著提升了鲁棒性，DUT-ESIM与DUT-OMRON等挑战性SOD基准上的性能均有提升。
• 采用迭代更新策略（SOD与COD的更新比例为3:1）的联合训练可防止在较小的COD数据集上过拟合，并改善收敛性。
• 在DUT-ESIM上，该方法的平均绝对误差（M）为0.030，在DUT-OMRON上为0.029，表明显著性预测具有高精度。