[论文解读] Emergence of foveal image sampling from learning to attend in visual scenes

Brian Cheung, E.E.J. Weiss+1 more|arXiv (Cornell University)|Nov 5, 2016

Neural dynamics and brain function被引用 4

一句话总结

该论文提出了一种可学习的神经注意力模型，其视网膜采样网格在视觉搜索任务上进行训练，以最小化注视次数。训练完成后，模型自发地形成一个中央高分辨率区域和外围低分辨率采样区域，与灵长类视网膜组织结构相似，其涌现特性受训练条件调节，表明其在高效视觉处理中具有功能作用。

ABSTRACT

We describe a neural attention model with a learnable retinal sampling lattice. The model is trained on a visual search task requiring the classification of an object embedded in a visual scene amidst background distractors using the smallest number of fixations. We explore the tiling properties that emerge in the model's retinal sampling lattice after training. Specifically, we show that this lattice resembles the eccentricity dependent sampling lattice of the primate retina, with a high resolution region in the fovea surrounded by a low resolution periphery. Furthermore, we find conditions where these emergent properties are amplified or eliminated providing clues to their function.

研究动机与目标

• 探究在端到端学习中，是否能从神经注意力模型中自发产生类似中央凹的视觉采样模式。
• 理解偏离中心度依赖的采样在减少视觉搜索中注视次数的功能作用。
• 探究训练条件如何影响中央凹和外围采样模式的出现或抑制。

提出的方法

• 在视觉搜索任务上训练一个具有可学习视网膜采样网格的神经网络，通过最少的注视次数来分类目标物体。
• 模型使用可微分注意力机制，从视觉场景中选择采样位置。
• 视网膜采样网格通过参数化方式实现空间分辨率可变，其中中央凹区域分辨率更高。
• 训练目标是优化以最小化正确分类目标物体所需的注视次数。
• 在训练后分析模型的采样网格，以评估其铺砌方式和分辨率分布。
• 通过调整损失权重和训练制度等条件，测试其对网格结构的影响。

实验结果

研究问题

• RQ1 可学习的注意力机制是否能自发发展出类似灵长类视网膜组织的中央凹采样网格？
• RQ2 训练约束如何影响高分辨率中央凹区域和低分辨率周边区域的出现？
• RQ3 在视觉搜索任务中，涌现的中央凹采样模式带来了哪些功能优势？
• RQ4 在何种条件下，中央凹网格结构会被增强或消除？

主要发现

• 训练后模型的采样网格发展出一个高分辨率中央凹区域，周围为低分辨率外围区域，与灵长类视网膜的偏离中心度依赖采样极为相似。
• 中央凹采样的出现并非人为施加，而是由最小化注视次数的学习目标自发产生的结果。
• 强调注视效率的训练条件会增强中央凹结构，而约束较少的条件则会削弱或消除该结构。
• 该模型在较少注视次数下实现了高分类准确率，证明了涌现采样模式的功能效率。
• 网格的铺砌特性反映了空间分辨率与采样效率之间的权衡，与生物视觉系统一致。
• 结果表明，中央凹采样可能是视觉搜索中最小化信息获取优化的自然结果。