[论文解读] Adapting Brain-Like Neural Networks for Modeling Cortical Visual Prostheses

Jacob Granley, Alexander Riedel+1 more|arXiv (Cornell University)|Sep 27, 2022

Advanced Memory and Neural Computing被引用 5

一句话总结

本文提出将类脑卷积神经网络（CNN）适配用于建模皮层视觉假体诱发的闪光感。通过使用一种受神经科学启发的解码方法，将刺激强度映射为人工神经元响应，该模型生成了定性准确、呈黄色至白色、带有闪烁细节的圆形闪光感，与临床报告一致，并再现了V1和V2区域闪光感大小的已知趋势。

ABSTRACT

Cortical prostheses are devices implanted in the visual cortex that attempt to restore lost vision by electrically stimulating neurons. Currently, the vision provided by these devices is limited, and accurately predicting the visual percepts resulting from stimulation is an open challenge. We propose to address this challenge by utilizing 'brain-like' convolutional neural networks (CNNs), which have emerged as promising models of the visual system. To investigate the feasibility of adapting brain-like CNNs for modeling visual prostheses, we developed a proof-of-concept model to predict the perceptions resulting from electrical stimulation. We show that a neurologically-inspired decoding of CNN activations produces qualitatively accurate phosphenes, comparable to phosphenes reported by real patients. Overall, this is an essential first step towards building brain-like models of electrical stimulation, which may not just improve the quality of vision provided by cortical prostheses but could also further our understanding of the neural code of vision.

研究动机与目标

• 为解决预测皮层视觉假体电刺激引起的视觉感知（即闪光感）的挑战。
• 探究用于物体识别训练的类脑深度神经网络（DNN），是否可作为刺激下皮层反应的神经学上合理的模型。
• 开发一种解码框架，以模仿生物皮层组织的方式，将刺激模式映射为DNN神经元激活。
• 将模型预测与已知的临床观察结果（包括闪光感的外观和大小）进行验证。

提出的方法

• 采用EfficientNet-B1模型（effnetb1），因其在Brain-Score上的高性能以及与灵长类视觉区V1、V2、V4和IT的对应性而被选中。
• 将V1和V2层（blocks.3.0 和 blocks.3）作为刺激建模的主要目标。
• 使用加权激活方案将刺激强度映射到人工神经元：每个神经元的强度基于其偏好刺激的最大激活，经刺激电流缩放后得出。
• 通过计算所有激活神经元上各刺激的加权平均值来生成预测的闪光感，权重基于刺激强度。
• 模拟了两种假体设备：Orion（表面电极）和CORTIVIS（Utah阵列），其电极间距和尺寸各不相同。
• 引入电流扩散参数（ρ）以模拟刺激的空间扩散，从而分析闪光感大小随扩散程度的变化。

实验结果

研究问题

• RQ1 能否使用用于物体识别训练的类脑DNN来预测电刺激在视觉皮层诱发的闪光感的定性特征？
• RQ2 预测的闪光感是否再现了临床观察到的特征，如黄色至白色的颜色、圆形形状，以及闪烁或类似烟火的纹理？
• RQ3 闪光感大小如何随电极位置（偏心度）和电流扩散而变化？模型是否再现了已知的皮层放大效应？
• RQ4 该模型能否预测不同假体设备（如Orion与CORTIVIS）之间闪光感外观的差异？

主要发现

• 该模型生成的闪光感主要为黄色至白色的圆形斑块，伴有高频细节（如间歇性亮斑），与患者报告的闪光感高度相似。
• 预测的Orion闪光感比CORTIVIS的更大且更饱和，而CORTIVIS的则更稀疏且略带色彩，反映出电极设计的差异。
• 当刺激从V1移至V2时，闪光感平均增大41%，与皮层放大效应及先前的实证发现一致。
• 在低和高电流扩散值（ρ）下，闪光感大小均趋于饱和，表明存在最小和最大闪光感大小的理论极限，符合神经生理学约束。
• 在Orion中观察到闪光感大小与偏心度之间存在强线性关系（p < .001），但在CORTIVIS中则无此关系（p = 0.803），表明设备间神经反应模式存在差异。
• 模型的预测结果自然地从解码机制中产生，无需人工调参，表明复杂感知特征可源自生物上合理的DNN解码。