[论文解读] Hybrid Neural Autoencoders for Stimulus Encoding in Visual and Other Sensory Neuroprostheses

Jacob Granley, Lucas Relic+1 more|arXiv (Cornell University)|May 26, 2022

Neuroscience and Neural Engineering被引用 12

一句话总结

本文提出一种混合神经自编码器（HNA），通过可微分地反演神经响应的固定前向模型，学习生成高保真、患者特异性的电刺激模式，用于感觉神经假体。HNA在模拟手写数字和日常物体的视觉感知方面，显著优于传统编码策略，大幅提升了多种患者模型下的感知保真度。

ABSTRACT

Sensory neuroprostheses are emerging as a promising technology to restore lost sensory function or augment human capabilities. However, sensations elicited by current devices often appear artificial and distorted. Although current models can predict the neural or perceptual response to an electrical stimulus, an optimal stimulation strategy solves the inverse problem: what is the required stimulus to produce a desired response? Here, we frame this as an end-to-end optimization problem, where a deep neural network stimulus encoder is trained to invert a known and fixed forward model that approximates the underlying biological system. As a proof of concept, we demonstrate the effectiveness of this Hybrid Neural Autoencoder (HNA) in visual neuroprostheses. We find that HNA produces high-fidelity patient-specific stimuli representing handwritten digits and segmented images of everyday objects, and significantly outperforms conventional encoding strategies across all simulated patients. Overall this is an important step towards the long-standing challenge of restoring high-quality vision to people living with incurable blindness and may prove a promising solution for a variety of neuroprosthetic technologies.

研究动机与目标

• 为解决当前感觉神经假体因刺激编码不理想而产生人工且失真的感知，导致感知不自然的问题。
• 将刺激设计的逆问题建模为端到端可微分优化，利用深度神经网络编码器学习反演已知的神经响应前向模型。
• 通过具有真实神经动力学的模拟患者模型，验证HNA在视觉神经假体中的有效性。
• 评估在HNA框架中使用代理模型替代计算成本高或不可微分的前向模型的可行性与风险。
• 实现患者特异性的高保真刺激编码，降低感知结果的患者间差异性。

提出的方法

• HNA采用深度神经网络编码器，学习反演将刺激映射到神经或感知响应的固定、可微分前向模型（解码器）。
• 编码器通过反向传播进行端到端训练，以最小化预测神经响应与目标响应之间的重建损失。
• 前向模型可为皮层响应的数值模拟，或在原始模型不可微或过慢时采用替代神经网络近似。
• 刺激针对静态视觉目标（如手写数字和分割后的物体图像）进行优化，推理按帧独立执行。
• 通过将编码器条件化于个体化模型参数（如空间扩散、增益）实现患者特异性调优。
• 模型部署在CPU和GPU上进行评估，推理时间分别为4ms和1.2ms/图像，支持实时应用。

实验结果

研究问题

• RQ1 能否训练深度神经网络以反演神经响应的固定前向模型，从而在感觉神经假体中生成能诱发期望感知结果的刺激？
• RQ2 在多种患者特异性参数下，HNA与传统编码策略相比，在感知保真度和鲁棒性方面表现如何？
• RQ3 在HNA框架中，使用代理前向模型而非精确模型时，性能权衡与风险为何？
• RQ4 HNA能否通过学习患者特异性的刺激映射，降低感知结果的患者间差异性？
• RQ5 HNA框架是否可推广至视觉以外的其他感觉神经假体应用？

主要发现

• HNA生成了高保真、患者特异性的刺激，能够准确表示手写数字和日常物体的分割图像，在所有模拟患者中显著优于传统编码策略。
• HNA编码器在GPU上推理时间为1.2ms，在CPU上为4ms，证明其在神经假体系统中实现实时部署的可行性。
• 即使使用训练良好的代理前向模型，HNA性能仍因编码器学习利用模型不准确性而下降，凸显基于代理模型训练的风险。
• 与简单编码相比，HNA显著降低了患者间感知结果的差异性，后者在参数范围外表现差。
• 即使患者特异性参数误设或未知，该框架仍保持有效，表明其对模型不确定性的鲁棒性。
• 与基线方法相比，HNA在重建保真度上表现更优，视觉质量提升归因于对前向模型的精确反演，而非空间分辨率的限制。