[论文解读] How close are we to understanding image-based saliency?

Matthias Kümmerer, Thomas S. A. Wallis+1 more|arXiv (Cornell University)|Sep 26, 2014

Visual Attention and Saliency Detection参考文献 39被引用 6

一句话总结

本文通过将注视点建模为点过程以计算对数似然，重新评估了基于图像的显著性，发现当前最先进模型仅捕捉了约三分之一的可解释空间信息。本文提出了一种系统性方法，用于识别模型失败的位置与原因，挑战了空间显著性已近乎被完全理解的观点。

ABSTRACT

Within the set of the many complex factors driving gaze placement, the properities of an image that are associated with fixations under free viewing conditions have been studied extensively. There is a general impression that the field is close to understanding this particular association. Here we frame saliency models probabilistically as point processes, allowing the calculation of log-likelihoods and bringing saliency evaluation into the domain of information. We compared the information gain of state-of-the-art models to a gold standard and find that only one third of the explainable spatial information is captured. We additionally provide a principled method to show where and how models fail to capture information in the fixations. Thus, contrary to previous assertions, purely spatial saliency remains a significant challenge.

研究动机与目标

• 评估当前显著性模型在自由观看条件下解释人类注视模式的能力。
• 通过量化剩余未解释信息，挑战当前认为空间显著性已近乎完全理解的普遍观点。
• 开发一种系统性方法，识别显著性预测中模型失败的空间区域。
• 使用点过程模型的对数似然，以信息论术语框架化显著性评估。

提出的方法

• 将人类注视点建模为点过程，以实现基于对数似然的概率评估。
• 使用金标准注视数据集作为信息增益计算的基准。
• 使用信息论度量，将当前最先进显著性模型与金标准进行比较。
• 应用空间分解方法，识别高模型误差区域并量化信息损失。
• 将可解释空间信息计算为金标准数据中的总信息量。
• 使用基于似然的度量评估模型性能，超越传统相关性度量。

实验结果

研究问题

• RQ1 当前最先进显著性模型捕捉了多少可解释的人类注视空间信息？
• RQ2 现有模型在特定空间区域中未能预测注视的程度如何？
• RQ3 能否开发一种系统性方法，以定位并量化显著性预测中的模型失败？
• RQ4 信息论证据是否支持空间显著性已近乎被理解的假设？

主要发现

• 当前最先进显著性模型仅捕捉了人类注视数据中约三分之一的可解释空间信息。
• 信息论评估揭示了显著的未解释方差，表明纯粹的空间显著性仍是重大挑战。
• 模型失败并非均匀分布，而是集中于特定空间区域，可被系统性识别。
• 点过程建模的使用使显著性模型的评估比传统度量更加严格和系统化。
• 金标准注视数据包含的信息量远超当前模型可解释的范围，凸显了巨大的性能差距。
• 该方法提供了一种诊断工具，用于分析模型缺陷，为改进显著性建模指明了方向。