[论文解读] Salient Object Detection via Integrity Learning

Mingchen Zhuge, Deng-Ping Fan+4 more|arXiv (Cornell University)|Jan 19, 2021

Visual Attention and Saliency Detection被引用 22

一句话总结

本文提出ICON，一种新颖的显著性物体检测网络，通过多样化特征聚合、完整性通道增强以及部件-整体验证，提升微观与宏观层面的完整性。其在六个基准测试中实现了约10%的平均漏检率（FNR）相对提升，达到当前最优性能。

ABSTRACT

Although current salient object detection (SOD) works have achieved significant progress, they are limited when it comes to the integrity of the predicted salient regions. We define the concept of integrity at both a micro and macro level. Specifically, at the micro level, the model should highlight all parts that belong to a certain salient object. Meanwhile, at the macro level, the model needs to discover all salient objects in a given image. To facilitate integrity learning for SOD, we design a novel Integrity Cognition Network (ICON), which explores three important components for learning strong integrity features. 1) Unlike existing models, which focus more on feature discriminability, we introduce a diverse feature aggregation (DFA) component to aggregate features with various receptive fields (i.e., kernel shape and context) and increase feature diversity. Such diversity is the foundation for mining the integral salient objects. 2) Based on the DFA features, we introduce an integrity channel enhancement (ICE) component with the goal of enhancing feature channels that highlight the integral salient objects, while suppressing the other distracting ones. 3) After extracting the enhanced features, the part-whole verification (PWV) method is employed to determine whether the part and whole object features have strong agreement. Such part-whole agreements can further improve the micro-level integrity for each salient object. To demonstrate the effectiveness of our ICON, comprehensive experiments are conducted on seven challenging benchmarks. Our ICON outperforms the baseline methods in terms of a wide range of metrics. Notably, our ICON achieves about 10% relative improvement over the previous best model in terms of average false negative ratio (FNR), on six datasets. Codes and results are available at: https://github.com/mczhuge/ICON.

研究动机与目标

• 解决当前显著性物体检测（SOD）模型在微观（完整物体部件）和宏观（图像中所有显著物体）层面难以保持显著物体完整性的局限。
• 通过显式建模特征多样性与部件-整体一致性，克服预测不完整或碎片化的问题。
• 通过引入统一框架增强特征可区分性，实现基于完整性感知机制的SOD性能提升。
• 通过在七个标准数据集上进行全面消融实验与基准测试，验证完整性学习的有效性。

提出的方法

• 引入多样特征聚合（DFA）模块，整合感受野各异（核形状与上下文）的特征，提升特征多样性，实现更优的物体覆盖。
• 提出完整性通道增强（ICE）模块，选择性放大代表完整显著物体的特征通道，同时抑制噪声或无关通道。
• 设计部件-整体验证（PWV）模块，验证局部部件特征与全局整体特征之间的一致性，确保微观层面的完整性。
• 在PWV中采用电磁（EM）路由机制，根据一致性动态路由特征，提升鲁棒性与一致性。
• 使用新型CPR（一致性保持正则化）损失进行模型训练，促进预测显著图与真实标注图之间的对齐。
• 将所有组件整合为完整性认知网络（ICON），构建统一端到端的显著性预测架构。

实验结果

研究问题

• RQ1 显式建模微观层面完整性（确保显著物体的所有部件均被检测）是否能提升SOD性能？
• RQ2 能否通过特征级机制有效学习宏观层面完整性（检测图像中所有显著物体）？
• RQ3 增强特征多样性与部件-整体一致性是否能带来更鲁棒、更完整的显著性预测？
• RQ4 所提出的组件（DFA、ICE、PWV）在标准基准测试中，其个体与协同贡献如何？

主要发现

• ICON在七个基准数据集中的六个上，相较于此前最佳模型，平均漏检率（FNR）实现了约10%的相对提升。
• 消融实验表明，DFA、ICE与PWV三个组件均对性能有显著贡献，完整模型在所有指标上均优于消融变体。
• CPR损失带来更好的泛化性与一致性，在所有评估指标上均优于标准BCE损失。
• PWV中的EM路由相比动态路由（DR）与自路由（SR）表现更优，凸显基于一致性的路由机制的重要性。
• ICE模块优于SE、CBAM与GCT等标准注意力机制，证明其在增强完整性感知特征方面的有效性。
• ICON在七个基准测试中均取得最先进结果，包括OMRON、HKU-IS与DUTS-TE，在$S_m$、$E_\theta^m$、$F_\beta^w$与$M$指标上均实现一致提升。