[论文解读] A probabilistic tour of visual attention and gaze shift computational models

Giuseppe Boccignone|arXiv (Cornell University)|Jul 5, 2016

Gaze Tracking and Assistive Technology参考文献 5被引用 5

一句话总结

本文提出了一种概率框架，用于建模主动视觉中的视觉注意与注视转移，整合了认知、情感与执行控制组件。通过在动态贝叶斯网络中嵌入潜在情感状态，该框架超越了自底向上的显著性模型，为自然环境中目标导向的眼动提供了一个统一且有原则的解释。

ABSTRACT

In this paper a number of problems are considered which are related to the modelling of eye guidance under visual attention in a natural setting. From a crude discussion of a variety of available models spelled in probabilistic terms, it appears that current approaches in computational vision are hitherto far from achieving the goal of an active observer relying upon eye guidance to accomplish real-world tasks. We argue that this challenging goal not only requires to embody, in a principled way, the problem of eye guidance within the action/perception loop, but to face the inextricable link tying up visual attention, emotion and executive control, in so far as recent neurobiological findings are weighed up.

研究动机与目标

• 解决当前显著性模型将眼动引导视为纯粹自底向上的问题，忽略了目的性与情感影响的局限性。
• 在概率图模型（PGM）中重构眼动预测，统一感知、动作与情感。
• 研究情感效价与唤醒如何通过神经生物学上合理的通路调节注视转移。
• 提出一种动态的潜在情感空间，作为认知控制与感知评估在动作/感知回路中的中介。
• 超越“从像素到谓词”的范式，将情境化、目标导向的感知嵌入计算模型。

提出的方法

• 使用动态贝叶斯网络（DBNs）将眼动引导形式化为一个概率推理问题，将动作/感知回路建模为随时间演化的PGM。
• 引入一个潜在情感变量 𝒆(t)，表示核心情感维度（效价与唤醒），动态调节注视转移决策。
• 通过PGM中的条件依赖关系建模自底向上的显著性、自顶向下的注意力与情感调节之间的相互作用，并辅以神经生物学证据。
• 利用后验分布 P(𝐫_F(t) | 𝐈, 𝒆(t), 𝒄(t)) 预测注视位置，其中 𝒄(t) 表示认知控制，𝒇(t) 表示情感状态。
• 将神经解剖通路——杏仁核、腹内侧前额叶皮层（OFC）、腹侧被盖区（vTA）、扣带皮层（ACC）与基底前脑——整合进PGM，以建模神经调质对注意力的影响。
• 采用生成式方法，使注视转移不仅由图像特征驱动，还由情感、目标与感知输入的交互决定。

实验结果

研究问题

• RQ1 如何在统一的概率框架中整合视觉注意与注视转移模型，以同时考虑自底向上的显著性与自顶向下的目标？
• RQ2 情感效价与唤醒在塑造眼动行为中起什么作用，以及如何对其进行计算建模？
• RQ3 如何将动作/感知回路形式化为一个包含情感与认知控制组件的动态概率图模型？
• RQ4 为何当前的显著性模型无法准确预测真实世界任务中的注视行为，其关键缺失组件是什么？
• RQ5 能否在PGM中嵌入一个潜在情感状态，以在主动视觉的感知评估与动作选择之间起中介作用？

主要发现

• 当前视觉注意的计算模型在真实世界主动视觉任务中表现不足，因其忽略了情感、认知与动作的整合。
• 神经生物学证据表明，杏仁核与后侧眶额皮层（OFC）构成情感调节注意力的核心通路，而这一机制未被标准显著性模型所捕捉。
• 将潜在情感状态 𝒆(t) 整合进动作/感知回路，可实现更真实、更具情境敏感性的注视预测，尤其在情感显著性场景中表现更优。
• 情感内容不仅通过刺激驱动的显著性影响注视转移，还通过自顶向下的调节产生影响，使认知与情感控制的界限变得模糊。
• 所提出的PGM框架支持注视转移的生成式建模，其中感知输入与情感状态共同决定注视序列。
• 该模型表明，场景的‘意义’并非固有存在于图像数据中，而是从感知、情感与动作在情境化、动态回路中的交互中涌现出来的。