[论文解读] Instance-Level Relative Saliency Ranking with Graph Reasoning

Nian Liu, Long Li+3 more|arXiv (Cornell University)|Jul 8, 2021

Visual Attention and Saliency Detection参考文献 87被引用 4

一句话总结

本文提出了首个用于实例级相对显著性排序的端到端模型，结合改进的Mask R-CNN进行实例分割，并引入图推理模块，整合局部对比度、全局上下文、实例间交互关系以及语义先验信息，以推断相对显著性排名。该方法在新提出的、采用新颖评估指标的数据集上实现了最先进性能，展示了在自适应图像重定向等实际应用中更高的准确性和实用性。

ABSTRACT

Conventional salient object detection models cannot differentiate the importance of different salient objects. Recently, two works have been proposed to detect saliency ranking by assigning different degrees of saliency to different objects. However, one of these models cannot differentiate object instances and the other focuses more on sequential attention shift order inference. In this paper, we investigate a practical problem setting that requires simultaneously segment salient instances and infer their relative saliency rank order. We present a novel unified model as the first end-to-end solution, where an improved Mask R-CNN is first used to segment salient instances and a saliency ranking branch is then added to infer the relative saliency. For relative saliency ranking, we build a new graph reasoning module by combining four graphs to incorporate the instance interaction relation, local contrast, global contrast, and a high-level semantic prior, respectively. A novel loss function is also proposed to effectively train the saliency ranking branch. Besides, a new dataset and an evaluation metric are proposed for this task, aiming at pushing forward this field of research. Finally, experimental results demonstrate that our proposed model is more effective than previous methods. We also show an example of its practical usage on adaptive image retargeting.

研究动机与目标

• 为解决现有显著性检测模型将所有显著对象同等对待的问题，尽管真实场景中对象的显著性程度各不相同。
• 开发一个统一的、端到端的框架，同时完成显著实例的分割与相对显著性排名的推断。
• 有效建模实例间关系及显著性线索（局部、全局、语义）以实现准确的排名。
• 提出一个专为实例级相对显著性排序设计的新数据集和评估指标，以支持未来研究。

提出的方法

• 采用改进的Mask R-CNN作为主干网络进行实例分割，为显著对象提供精确的掩码。
• 引入一种新型图推理模块，整合四种图结构：实例交互图、局部对比图、全局对比图和高层语义先验图。
• 通过消息传递机制聚合多层级特征，以建模显著实例之间的复杂关系。
• 设计一种新型损失函数，用于监督显著性排名分支，优化相对排名顺序的准确性。
• 采用两阶段训练策略：首先进行实例分割，然后联合优化进行显著性排名。
• 将显著性排名预测为每个实例的连续得分，从而实现对象重要性的相对比较。

实验结果

研究问题

• RQ1 端到端深度学习模型能否同时实现高精度的实例级显著性分割与相对显著性排序？
• RQ2 如何有效整合多层级上下文线索（局部对比度、全局上下文、实例交互、语义先验）以实现相对显著性预测？
• RQ3 何种损失函数设计最有利于学习准确的相对排序，而无需依赖绝对显著性监督？
• RQ4 与序列注意力或像素级回归相比，所提出的图推理模块在提升排名性能方面有何优势？
• RQ5 所提出的模型能否在自适应图像重定向等实际任务中有效应用？

主要发现

• 所提模型在新引入的数据集上达到最先进性能，在分割和排名准确性方面均优于现有方法。
• 图推理模块通过有效建模实例间关系和多尺度上下文，显著提升了排名性能。
• 所提出的损失函数在相对排序优化方面表现更优，相比标准回归损失，能实现更准确的显著性顺序预测。
• 模型在自适应图像重定向任务中展现出实际应用价值，能够在大幅缩放时保留最显著的对象，同时移除不重要的对象。
• 消融实验验证了图推理模块中各组件的重要性，完整模型表现最佳。
• 新数据集和评估指标被证明能有效衡量实例级相对显著性排序性能，支持未来基准测试。