[论文解读] Human-in-the-Loop Optimization for Deep Stimulus Encoding in Visual Prostheses

Jacob Granley, Tristan Fauvel+2 more|PubMed|Jun 16, 2023

Advanced Memory and Neural Computing参考文献 41被引用 5

一句话总结

该论文提出了一种人机协同优化（HILO）框架，结合基于深度学习的刺激编码与偏好型贝叶斯优化，以个性化视觉假体。通过在前向模型上训练深度刺激编码器（DSE），并利用患者偏好比较进行优化，HILO仅需极少用户反馈即可实现高质量、患者特异的感知效果，在100名模拟患者中，99名的性能优于非个性化编码器。

ABSTRACT

Neuroprostheses show potential in restoring lost sensory function and enhancing human capabilities, but the sensations produced by current devices often seem unnatural or distorted. Exact placement of implants and differences in individual perception lead to significant variations in stimulus response, making personalized stimulus optimization a key challenge. Bayesian optimization could be used to optimize patient-specific stimulation parameters with limited noisy observations, but is not feasible for high-dimensional stimuli. Alternatively, deep learning models can optimize stimulus encoding strategies, but typically assume perfect knowledge of patient-specific variations. Here we propose a novel, practically feasible approach that overcomes both of these fundamental limitations. First, a deep encoder network is trained to produce optimal stimuli for any individual patient by inverting a forward model mapping electrical stimuli to visual percepts. Second, a preferential Bayesian optimization strategy utilizes this encoder to optimize patient-specific parameters for a new patient, using a minimal number of pairwise comparisons between candidate stimuli. We demonstrate the viability of this approach on a novel, state-of-the-art visual prosthesis model. We show that our approach quickly learns a personalized stimulus encoder, leads to dramatic improvements in the quality of restored vision, and is robust to noisy patient feedback and misspecifications in the underlying forward model. Overall, our results suggest that combining the strengths of deep learning and Bayesian optimization could significantly improve the perceptual experience of patients fitted with visual prostheses and may prove a viable solution for a range of neuroprosthetic technologies.

研究动机与目标

• 解决视觉假体中个性化刺激编码的挑战，其中患者特异的神经反应导致感知结果高度可变。
• 克服传统贝叶斯优化在高维刺激下不可行的局限，以及深度学习对患者特异映射关系完美知识的假设。
• 开发一种实用且可扩展的方法，仅使用患者提供的成对偏好反馈来优化刺激参数。
• 实现无需临床专家或每位患者大量训练的快速、自适应视觉假体校准。
• 证明对噪声反馈及神经反应前向模型不准确的鲁棒性。

提出的方法

• 训练深度刺激编码器（DSE）以反演将电刺激映射为预测感知的前向模型，将患者特异性参数作为潜在变量。
• 将DSE嵌入偏好型贝叶斯优化（PBO）框架中，利用刺激对之间的二元比较推断患者偏好。
• 在每次迭代中自适应选择新刺激对，以最大化关于最优患者特异性DSE参数的信息增益。
• 使用高斯过程对DSE参数上的偏好函数进行建模，并在每次患者比较后更新后验分布。
• 利用DSE在高维刺激空间（13个参数）中的泛化能力，将优化搜索空间缩减为模型参数。
• 在CPU上实现最终优化后的DSE，实时刺激预测时间少于5毫秒，支持高帧率。

Figure 1: Left : Deep stimulus encoder ( DSE ). A forward model ( $f$ ) is used to approximate the perceptual response to electrical stimuli, subject to patient-specific parameters $\phi$ . An encoder ( $f^{-1}$ ) is then learned to minimize the perceptual error between predicted and target percept.

实验结果

研究问题

• RQ1 仅通过最少的间接反馈，能否有效将基于前向模型训练的深度刺激编码器个性化为个体患者？
• RQ2 当底层前向模型存在错误指定或噪声时，HILO框架的性能如何？
• RQ3 与非个性化深度编码器相比，人机协同优化在感知质量方面提升程度如何？
• RQ4 该框架能否扩展至现代视觉假体典型的高维刺激空间？
• RQ5 优化过程对噪声或不一致的患者偏好响应有多大的鲁棒性？

主要发现

• 在100名模拟患者中，HILO在99%的情况下均优于非个性化DSE，显著提升了感知质量，证明了个性化优化的显著优势。
• 即使前向模型存在错误指定或不准确，优化后的DSE仍能产生显著更高的感知质量。
• 框架对噪声患者反馈保持鲁棒，同时维持高优化效率与快速收敛速度。
• 每次迭代的刺激优化平均耗时少于3秒，总校准时间仅需数分钟，支持实际部署。
• 最终DSE在CPU上预测刺激时间少于5毫秒，支持适用于实时假体视觉的高帧率。
• 该方法无需专家干预即可实现有效个性化，适用于临床或家庭环境中的定期重新校准。

Figure 2: Left : Visual prosthesis. Incoming target images are transmitted from a camera to an implant in the retina, which encodes the image as an electrical stimulus pattern. Center : Electrical stimulation (red disc) of a nerve fiber bundle (gray lines) leads to elongated tissue activation (gray