[论文解读] Prune and distill: similar reformatting of image information along rat visual cortex and deep neural networks

Paolo Muratore, Sina Tafazoli+3 more|arXiv (Cornell University)|May 27, 2022

Neural dynamics and brain function被引用 8

一句话总结

本研究揭示，深度神经网络（DNNs）与大鼠视觉皮层共享一种核心计算原理：通过逐步剪枝低级特征（如亮度、对比度、方向）和降维，重新组织视觉信息，其内在维度分布呈驼峰形。在DNN中，训练过程主动提炼并剪枝无关图像特征；而在大鼠腹侧流中，也观察到类似的特征丢失与表征压缩现象，表明在分层视觉处理中存在共享的功能逻辑。

ABSTRACT

Visual object recognition has been extensively studied in both neuroscience and computer vision. Recently, the most popular class of artificial systems for this task, deep convolutional neural networks (CNNs), has been shown to provide excellent models for its functional analogue in the brain, the ventral stream in visual cortex. This has prompted questions on what, if any, are the common principles underlying the reformatting of visual information as it flows through a CNN or the ventral stream. Here we consider some prominent statistical patterns that are known to exist in the internal representations of either CNNs or the visual cortex and look for them in the other system. We show that intrinsic dimensionality (ID) of object representations along the rat homologue of the ventral stream presents two distinct expansion-contraction phases, as previously shown for CNNs. Conversely, in CNNs, we show that training results in both distillation and active pruning (mirroring the increase in ID) of low- to middle-level image information in single units, as representations gain the ability to support invariant discrimination, in agreement with previous observations in rat visual cortex. Taken together, our findings suggest that CNNs and visual cortex share a similarly tight relationship between dimensionality expansion/reduction of object representations and reformatting of image information.

研究动机与目标

• 探究深度神经网络（DNNs）与大鼠视觉皮层在分层处理过程中是否共享视觉信息重组织的根本原理。
• 检验在大鼠腹侧流中，对象表征的内在维度（ID）是否如先前在DNN中观察到的那样，呈现驼峰形分布。
• 检验低级图像特征（亮度、对比度、方向、角点）是否在DNN各层中逐步被剪枝或提炼，类似于在大鼠视觉皮层中发现的模式。
• 评估在两个系统中，表征维度、特征剪枝与分类性能之间的功能关联。
• 确定DNN中观察到的模式是否源于训练过程，而非仅仅是网络架构的限制。

提出的方法

• 使用基于随机投影的估计方法，测量VGG-16各层以及大鼠视觉皮层（V1、LM、LI、LL）神经元记录中对象表征的内在维度（ID）。
• 在神经元群体响应上训练线性分类器，以评估大鼠皮层区域中视图不变的对象识别性能。
• 使用互信息估计方法，量化DNN各层中单个神经元对低级特征（亮度、对比度、方向、角点调谐）的信息编码。
• 比较DNN与大鼠视觉皮层中的特征编码趋势，特别关注方向调谐及多方向调谐（角点）的变化。
• 使用训练好的DNN，检验低级特征的剪枝是否发生在训练过程中，而非仅仅是网络深度或感受野大小的副产物。
• 分析VGG-16各层中分类准确率与单个神经元编码的类别信息之间的关系。

实验结果

研究问题

• RQ1 大鼠腹侧流中对象表征的内在维度（ID）是否呈现与深度卷积神经网络（CNNs）中观察到的相似的驼峰形分布？
• RQ2 深度神经网络是否在训练过程中主动剪枝低级图像特征（如亮度、对比度、方向），类似于在大鼠视觉皮层中观察到的信息丢失？
• RQ3 在生物与人工视觉层级结构中，表征的维度降低与特定图像特征的提炼/剪枝之间是否存在功能关联？
• RQ4 在使用自然图像探测时，大鼠与猴子视觉皮层中方向与角点选择性调谐的趋势是否在DNN中存在对应现象？
• RQ5 DNN中观察到的图像特征剪枝是训练的结果，还是仅仅是感受野大小增加的架构性副产物？

主要发现

• 大鼠腹侧流中对象表征的内在维度（ID）遵循驼峰形分布——先扩张后收缩，与先前在深度CNN中发现的模式一致。
• 在VGG-16中，关于亮度和对比度等低级特征的信息在各层中逐步被剪枝，与大鼠视觉皮层中的发现一致。
• 对方向与角点信息的敏感性在DNN各层中逐渐增强，早期层表现出低调谐性，后期层则表现出更高选择性，反映出与大鼠腹侧流中相似的提炼过程。
• DNN中低级特征的剪枝是一个由训练驱动的主动过程，而非网络深度或感受野增长的被动结果。
• VGG-16各层中分类准确率的提升与单个神经元编码的类别信息增加密切相关，其轨迹与大鼠视觉皮层中单神经元不变性与群体水平识别性能之间的关系相平行。
• 本研究揭示了生物与人工视觉系统之间共享的功能逻辑：维度降低与特征剪枝紧密耦合，提示这是分层视觉处理中的一个基本原理。