[论文解读] Can Peripheral Representations Improve Clutter Metrics on Complex Scenes

Arturo Deza, Miguel P. Eckstein|arXiv (Cornell University)|Jan 1, 2016

Visual Attention and Saliency Detection被引用 7

一句话总结

本文提出了一种聚焦性杂乱模型——聚焦特征拥堵（FFC），通过整合周边视觉处理机制，提升了复杂场景中杂乱程度的预测能力。通过将非线性的离心率依赖增益（PIFC系数）应用于特征拥堵，FFC与目标检测性能的相关性显著增强（r = −0.82），远超非聚焦模型（r = −0.19），证明了聚焦机制在杂乱感知中的重要性。

ABSTRACT

Previous studies have proposed image-based clutter measures that correlate with human search times and/or eye movements. However, most models do not take into account the fact that the effects of clutter interact with the foveated nature of the human visual system: visual clutter further from the fovea has an increasing detrimental influence on perception. Here, we introduce a new foveated clutter model to predict the detrimental effects in target search utilizing a forced fixation search task. We use Feature Congestion (Rosenholtz et al.) as our non foveated clutter model, and we stack a peripheral architecture on top of Feature Congestion for our foveated model. We introduce the Peripheral Integration Feature Congestion (PIFC) coefficient, as a fundamental ingredient of our model that modulates clutter as a non-linear gain contingent on eccentricity. We finally show that Foveated Feature Congestion (FFC) clutter scores (r(44) = −0.82 ± 0.04, p < 0.0001) correlate better with target detection (hit rate) than regular Feature Congestion (r(44) = −0.19 ± 0.13, p = 0.0774) in forced fixation search; and we extend foveation to other clutter models showing stronger correlations in all cases. Thus, our model allows us to enrich clutter perception research by computing fixation specific clutter maps. Code for building peripheral representations is available.

研究动机与目标

• 为解决现有杂乱模型忽略人类视觉聚焦特性的局限性，即周边杂乱的影响随距离增加而加剧。
• 开发一种考虑离心率依赖性感知退化效应的聚焦杂乱模型，以应对目标搜索任务中的视觉干扰。
• 提升计算杂乱度量与人类在强制固定注视任务中表现的相关性。
• 通过将周边表征整合到现有杂乱度量中，实现基于注视点的杂乱映射。

提出的方法

• 在非聚焦特征拥堵模型的基础上，叠加一个周边结构，以建模空间变化的杂乱效应。
• 引入周边整合特征拥堵（PIFC）系数，作为非线性增益函数，根据离心率调节杂乱程度。
• 将PIFC系数应用于重新加权特征拥堵值，依据其与注视点的距离。
• 通过基于离心率的加权方式，结合中心与周边杂乱估计，构建聚焦特征拥堵（FFC）得分。
• 利用强制固定注视搜索任务，通过人类被试的命中率来验证模型性能。
• 将聚焦方法扩展至其他杂乱模型，证明其在各类模型中均能保持一致的性能提升。

实验结果

研究问题

• RQ1 在复杂场景中，整合周边视觉处理是否能提升杂乱度量的预测能力？
• RQ2 在强制固定注视任务中，杂乱的离心率依赖调制如何影响目标检测性能？
• RQ3 聚焦杂乱模型是否能在与人类搜索行为的相关性上超越非聚焦模型？
• RQ4 PIFC系数在多大程度上增强了杂乱得分对注视位置的敏感性？

主要发现

• FFC杂乱得分与目标检测命中率呈强烈负相关（r(44) = −0.82 ± 0.04, p < 0.0001），表明其具有高度预测准确性。
• 非聚焦特征拥堵模型与检测性能的相关性微弱且不显著（r(44) = −0.19 ± 0.13, p = 0.0774）。
• 聚焦方法在多种杂乱模型中均提升了与人类表现的相关性，不仅限于特征拥堵模型。
• PIFC系数有效捕捉了在较高离心率下杂乱影响加剧的负面效应。
• 该模型可生成基于注视点的杂乱地图，显著增强了视觉感知的空间建模能力。
• 构建周边表征的代码已公开，支持可复现性与进一步扩展。