[논문 리뷰] Human-in-the-Loop Optimization for Deep Stimulus Encoding in Visual Prostheses

Jacob Granley, Tristan Fauvel외 2명|PubMed|2023. 06. 16.

Advanced Memory and Neural Computing참고 문헌 41인용 수 5

한 줄 요약

이 논문은 깊이 학습 기반 자극 인코딩과 선호도 기반 베이지안 최적화를 조합하여 시각 보철물의 개인화를 위한 인간-중심 최적화(HILO) 프레임워크를 제안한다. 환자의 선호도 비교를 통해 전방 모델에 기반해 훈련된 깊이 자극 인코더(DSE)를 보완함으로써, 최소한의 사용자 피드백으로도 높은 품질의 환자별 맞춤 인식을 달성하며, 100명의 시뮬레이션 환자 중 99명에서 비개인화된 인코더보다 뛰어난 성능을 보였다.

ABSTRACT

Neuroprostheses show potential in restoring lost sensory function and enhancing human capabilities, but the sensations produced by current devices often seem unnatural or distorted. Exact placement of implants and differences in individual perception lead to significant variations in stimulus response, making personalized stimulus optimization a key challenge. Bayesian optimization could be used to optimize patient-specific stimulation parameters with limited noisy observations, but is not feasible for high-dimensional stimuli. Alternatively, deep learning models can optimize stimulus encoding strategies, but typically assume perfect knowledge of patient-specific variations. Here we propose a novel, practically feasible approach that overcomes both of these fundamental limitations. First, a deep encoder network is trained to produce optimal stimuli for any individual patient by inverting a forward model mapping electrical stimuli to visual percepts. Second, a preferential Bayesian optimization strategy utilizes this encoder to optimize patient-specific parameters for a new patient, using a minimal number of pairwise comparisons between candidate stimuli. We demonstrate the viability of this approach on a novel, state-of-the-art visual prosthesis model. We show that our approach quickly learns a personalized stimulus encoder, leads to dramatic improvements in the quality of restored vision, and is robust to noisy patient feedback and misspecifications in the underlying forward model. Overall, our results suggest that combining the strengths of deep learning and Bayesian optimization could significantly improve the perceptual experience of patients fitted with visual prostheses and may prove a viable solution for a range of neuroprosthetic technologies.

연구 동기 및 목표

• 환자별 신경 반응의 다양성이 인식 결과에 큰 영향을 미치는 시각 보철물의 개인화된 자극 인코딩 문제를 해결한다.
• 고차원적 자극에 대해 적용이 불가능한 전통적 베이지안 최적화의 한계와, 환자별 매핑에 대한 완벽한 지식을 전제로 하는 딥 러닝의 한계를 극복한다.
• 환자로부터의 쌍별 선호도 피드백만을 사용하여 자극 파라미터를 최적화하는 실용적이고 확장 가능한 방법을 개발한다.
• 임상 전문가의 개입 없이도 환자별로 빠르고 적응형으로 보철물의 캘리브레이션을 수행할 수 있도록 한다.
• 노이즈가 있는 피드백과 기저의 전방 모델 정확도 부족에 대해 강건한 성능을 확보한다.

제안 방법

• 전방 모델(전기 자극에서 예측된 인식으로의 맵핑)을 역으로 풀 수 있도록 환자별 파arameter를 잠재 변수로 사용해 깊이 자극 인코더(DSE)를 훈련한다.
• 이중 비교를 통해 환자의 선호도를 추론하는 선호도 기반 베이지안 최적화(PBO) 프레임워크에 DSE를 통합한다.
• 각 반복에서 최적의 환자별 DSE 파arameter를 추론하기 위해 정보 수확량을 최대화하는 새로운 자극 쌍을 적응적으로 선택한다.
• DSE 파arameter 공간에서의 선호도 함수를 가우시안 프로세스로 모델링하고, 각 환자 비교 후 사후 확률을 갱신한다.
• DSE가 고차원 자극 공간(13개 파aram터)에서 일반화할 수 있는 능력을 활용하여 최적화 검색 공간을 파aram터 모델링으로 축소한다.
• 최종적으로 최적화된 DSE는 CPU에서 5ms 이내로 실시간 자극 예측을 수행하여 고주사율을 지원한다.

Figure 1: Left : Deep stimulus encoder ( DSE ). A forward model ( $f$ ) is used to approximate the perceptual response to electrical stimuli, subject to patient-specific parameters $\phi$ . An encoder ( $f^{-1}$ ) is then learned to minimize the perceptual error between predicted and target percept.

실험 결과

연구 질문

• RQ1 전방 모델에 기반해 훈련된 깊이 자극 인코더가 최소한의 간접 피드백만으로 환자별로 효과적으로 개인화될 수 있는가?
• RQ2 기저의 전방 모델이 잘못 설정되거나 노이즈가 있을 경우 HILO 프레임워크는 얼마나 잘 작동하는가?
• RQ3 인간-중심 최적화가 비개인화된 딥 인코더에 비해 인식 품질을 얼마나 향상시키는가?
• RQ4 현대 시각 보철물에서 흔한 고차원 자극 공간으로의 확장이 가능한가?
• RQ5 노이즈가 있거나 일관성 없는 환자 선호도 반응에 대해 최적화 과정은 얼마나 강건한가?

주요 결과

• 100명의 시뮬레이션 환자 중 99명에서 비개인화된 DSE에 비해 인식 품질 향상을 달성하여 강력한 개인화 성과를 입증했다.
• 전방 모델이 잘못 설정되거나 정확도가 떨어지는 상황에서도 최적화된 DSE는 높은 인식 품질을 유도했다.
• 노이즈가 있는 환자 피드백에 대해서도 강건하게 유지되어 높은 최적화 효율성과 수렴 속도를 확보했다.
• 평균적으로 각 반복당 최적화가 3초 이내로 완료되었으며, 전체 캘리브레이션 시간은 몇 분 내로 이루어져 실용적 구현이 가능했다.
• 최종 DSE는 CPU에서 5ms 이내로 자극을 예측하여 실시간 보철물 시각에 적합한 고주사율을 지원했다.
• 전문가의 간섭 없이도 효과적인 개인화가 가능해 임상적 또는 가정 환경에서 주기적 재캘리브레이션에 적합하다.

Figure 2: Left : Visual prosthesis. Incoming target images are transmitted from a camera to an implant in the retina, which encodes the image as an electrical stimulus pattern. Center : Electrical stimulation (red disc) of a nerve fiber bundle (gray lines) leads to elongated tissue activation (gray