[论文解读] Group-wise Deep Co-saliency Detection

Lina Wei, Shanshan Zhao+3 more|arXiv (Cornell University)|Jul 24, 2017

Visual Attention and Saliency Detection参考文献 18被引用 5

一句话总结

本文提出了一种统一的、端到端的组级深度共显著性检测框架，采用具有组输入和组输出的全卷积网络（FCN）。通过协同学习方案联合学习单个图像特征与组级交互特征，该方法在基准数据集上实现了最先进性能，显著提升了显著性检测的准确性和鲁棒性，通过增强图像间的一致性建模实现。

ABSTRACT

In this paper, we propose an end-to-end group-wise deep co-saliency detection approach to address the co-salient object discovery problem based on the fully convolutional network (FCN) with group input and group output. The proposed approach captures the group-wise interaction information for group images by learning a semantics-aware image representation based on a convolutional neural network, which adaptively learns the group-wise features for co-saliency detection. Furthermore, the proposed approach discovers the collaborative and interactive relationships between group-wise feature representation and single-image individual feature representation, and model this in a collaborative learning framework. Finally, we set up a unified end-to-end deep learning scheme to jointly optimize the process of group-wise feature representation learning and the collaborative learning, leading to more reliable and robust co-saliency detection results. Experimental results demonstrate the effectiveness of our approach in comparison with the state-of-the-art approaches.

研究动机与目标

• 为解决共显著性对象检测的挑战，通过建模单个图像特征与组级交互关系。
• 通过端到端地联合优化组级特征表示与协同学习，提升检测可靠性。
• 捕捉图像组中共享（共同）与独特（个体）的显著特征。
• 消除对后处理或独立处理图像内与图像间显著性检测的依赖。
• 在复杂、杂乱场景中实现优越性能，而这些场景是先前方法难以应对的。

提出的方法

• 该模型使用具有组输入和组输出的全卷积网络（FCN），以同时处理多张图像。
• 通过共享主干网络，分别从每张图像中提取语义特征，并从整个组中提取整体特征。
• 组显著性特征提取模块处理拼接后的组特征，以捕捉图像间的一致性。
• 通过拼接操作将单个图像特征与组级特征融合，并应用转置卷积层以恢复密集的显著性图。
• 设计了一种协同学习框架，用于建模单张图像与组级表示之间的交互。
• 整个网络端到端训练，以联合优化特征学习与显著性预测的协同增强。

实验结果

研究问题

• RQ1 联合学习单张图像与组级特征是否能提升共显著性检测性能？
• RQ2 建模图像间交互关系如何增强共同显著对象的检测？
• RQ3 端到端的统一网络架构是否优于对图像内与图像间显著性进行分离或顺序处理的方法？
• RQ4 该方法在具有高视觉差异的复杂、杂乱场景中效果如何？
• RQ5 该模型能否在增强共享显著区域的同时抑制非共有的对象（如苹果组中的树木）？

主要发现

• 在iCoseg数据集上，所提方法达到平均F值0.6983，AUC为0.9497，MAE为0.1018，优于所有基线方法。
• 在MSRC数据集上，达到平均F值0.5952，AUC为0.6997，MAE为0.2238，表现出强大的泛化能力。
• 在具有挑战性的Cosal2015数据集上，该方法在所有方法中取得最高mF（0.6084）、AUC（0.8954）与最低MAE（0.1434）。
• 消融实验表明，组级模型相比单图像模型在F值上提升了5.0%（0.6340 vs. 0.6039）。
• 在MSRC数据集上，该模型取得第二名的AP分数（0.687），与CoDW相当，尽管其为端到端结构且无需后处理。
• 视觉结果证实，组级方法能更好地抑制非共有的对象（如苹果组中的树木），同时增强共享显著区域。