[论文解读] Computational role of eccentricity dependent cortical magnification

Tomaso Poggio, Jim Mutch+1 more|arXiv (Cornell University)|Jun 6, 2014

Visual perception and processing mechanisms参考文献 16被引用 13

一句话总结

本文提出，初级视觉皮层（V1）中与视距相关的皮层放大效应源于视觉识别中对尺度和位移不变性的计算需求。通过扩展M理论，研究表明：感受野呈截断金字塔结构（随视距增大而变大）可自然地实现均匀的尺度不变性，预测中央凹区域约为26分钟视角，并通过皮层整合解释了Bouma定律，将神经架构与自然视觉条件下的不变性识别联系起来。

ABSTRACT

We develop a sampling extension of M-theory focused on invariance to scale and translation. Quite surprisingly, the theory predicts an architecture of early vision with increasing receptive field sizes and a high resolution fovea -- in agreement with data about the cortical magnification factor, V1 and the retina. From the slope of the inverse of the magnification factor, M-theory predicts a cortical "fovea" in V1 in the order of $40$ by $40$ basic units at each receptive field size -- corresponding to a foveola of size around $26$ minutes of arc at the highest resolution, $\approx 6$ degrees at the lowest resolution. It also predicts uniform scale invariance over a fixed range of scales independently of eccentricity, while translation invariance should depend linearly on spatial frequency. Bouma's law of crowding follows in the theory as an effect of cortical area-by-cortical area pooling; the Bouma constant is the value expected if the signature responsible for recognition in the crowding experiments originates in V2. From a broader perspective, the emerging picture suggests that visual recognition under natural conditions takes place by composing information from a set of fixations, with each fixation providing recognition from a space-scale image fragment -- that is an image patch represented at a set of increasing sizes and decreasing resolutions.

研究动机与目标

• 解释早期视觉处理的神经架构如何作为视觉识别中尺度与位移不变性的计算解决方案。
• 从自然视觉中经历的变换下对不变表示的要求，推导出V1中感受野的结构。
• 基于皮层放大因子的斜率，预测中央凹的大小与形状，与实证数据一致。
• 表明拥挤效应（Bouma定律）源于视觉通路中区域间的整合。
• 通过尺度-空间采样与自上而下的控制，统一层次化处理在不变识别中的作用。

提出的方法

• 将M理论扩展至包含基于采样的无监督学习，以处理图像模板的变换（位移与尺度）。
• 将感受野建模为在s,x平面（尺度与位置）上的截断金字塔，其大小随视距升高而增大。
• 使用Gabor样模板与相似性变换（缩放与位移）推导不变表示的几何结构。
• 将皮层放大因子推导为感受野大小与视距的反比关系，预测出平坦的高分辨率中央凹区域。
• 预测尺度不变性在各视距范围内均匀存在，而位移不变性随空间波长线性增加。
• 对皮层区域间的整合进行建模，以解释拥挤效应，其中Bouma常数源于V2水平的处理。

实验结果

研究问题

• RQ1 视觉识别中对尺度与位移不变性的需求，如何导致V1中观察到的与视距相关的皮层放大效应？
• RQ2 基于皮层放大因子的斜率，预测的中央凹大小与结构是什么？
• RQ3 为何在生物视觉中，尺度不变性比位移不变性更完整且更自然？
• RQ4 视觉感知中的拥挤效应如何从早期视觉区域的神经整合中产生？
• RQ5 视觉特征的不变表示能否通过跨尺度与位置的层次化采样过程加以解释？

主要发现

• 该理论预测中央凹约为26分钟视角，对应于V1中40×40单位的高分辨率区域，由皮层放大因子的斜率推导得出。
• 预测中央凹区域大小约为40分钟视角，与猕猴V1中20–30分钟视角的实证估计一致。
• 尺度不变性在各视距范围内均匀存在，而位移不变性随空间波长线性增加，解释了对位置偏移的不同容忍度。
• Bouma定律的拥挤效应自然地从视觉通路中区域间的整合中产生，Bouma常数（约0.4）表明V2水平的信号对识别至关重要。
• 该理论预测，在各视距范围内，从s_min到s_max的缩放变换下识别保持不变，解释了Anstis关于不同尺寸字母识别的发现。
• 自上而下的信号可能调节整合范围，提示注意力对非关注区域的神经抑制机制。