[논문 리뷰] Hybrid Neural Autoencoders for Stimulus Encoding in Visual and Other Sensory Neuroprostheses

Jacob Granley, Lucas Relic외 1명|arXiv (Cornell University)|2022. 05. 26.

Neuroscience and Neural Engineering인용 수 12

한 줄 요약

이 논문은 신경 반응의 고정된 전방 모델을 역으로 푸는 데에 사용되는 하이브리드 신경 오토인코더(HNA)를 제안한다. HNA는 고해상도이자 환자별 맞춤형 전기 자극 패tern을 생성함으로써 감각 신경의 보조 장치의 정확도를 향상시킨다. HNA는 손으로 쓴 숫자와 일상적인 물체의 시각적 인지 모의 실험에서 기존의 인코딩 전략보다 뛰어난 성능을 보이며, 다양한 환자 모델에서 인지의 정확도를 크게 향상시킨다.

ABSTRACT

Sensory neuroprostheses are emerging as a promising technology to restore lost sensory function or augment human capabilities. However, sensations elicited by current devices often appear artificial and distorted. Although current models can predict the neural or perceptual response to an electrical stimulus, an optimal stimulation strategy solves the inverse problem: what is the required stimulus to produce a desired response? Here, we frame this as an end-to-end optimization problem, where a deep neural network stimulus encoder is trained to invert a known and fixed forward model that approximates the underlying biological system. As a proof of concept, we demonstrate the effectiveness of this Hybrid Neural Autoencoder (HNA) in visual neuroprostheses. We find that HNA produces high-fidelity patient-specific stimuli representing handwritten digits and segmented images of everyday objects, and significantly outperforms conventional encoding strategies across all simulated patients. Overall this is an important step towards the long-standing challenge of restoring high-quality vision to people living with incurable blindness and may prove a promising solution for a variety of neuroprosthetic technologies.

연구 동기 및 목표

• 현재 자극 인코딩의 최적화가 부족하여 인공적이고 왜곡된 인지를 유도하는 감각 신경의 보조 장치에서 자연스러운 감각을 생성하는 데 도전 과제를 해결하기 위해.
• 신경 반응의 알려진 전방 모델을 역으로 푸는 데에 사용되는 딥 뉴럴 네트워크 인코더를 사용하여 자극 설계의 역문제를 종단 간(end-to-end) 미분 가능한 최적화 프레임워크로 재정의하기 위해.
• 실제 신경 동역학을 반영한 시뮬레이션된 환자 모델을 사용하여 HNA의 효과성을 시각 신경의 보조 장치에서 입증하기 위해.
• HNA 프레임워크에서 계산 비용이 많이 들거나 비미분 가능한 전방 모델 대신 서rogate 모델을 사용할 경우의 타당성과 위험을 평가하기 위해.
• 환자별 맞춤형 고해상도 자극 인코딩을 가능하게 하여 인지 결과의 환자 간 변동성을 줄이기 위해.

제안 방법

• HNA는 자극이 신경 반응 또는 인지 반응으로 이르는 고정된, 미분 가능한 전방 모델(디코더)을 역으로 푸는 데에 사용되는 딥 뉴럴 네트워크 인코더를 사용한다.
• 인코더는 예측된 신경 반응과 목표 반응 간의 재구성 오차를 최소화하기 위해 백프로파게이션을 통해 종단 간(end-to-end)으로 훈련된다.
• 전방 모델은 코어티컬 반응의 수치 시뮬레이션 또는 원래 모델이 비미분 가능하거나 너무 느릴 경우, 서rogate 신경망 근사치로 대체된다.
• 자극은 손으로 쓴 숫자와 분할된 물체 이미지와 같은 정적 시각적 목표물에 대해 최적화되며, 프레임 단위로 추론가 수행된다.
• 개별 환자 모델의 파rameter(예: 공간 분포, 감도)에 따라 조건화된 방식으로 인코더를 환자별 맞춤형으로 조정할 수 있다.
• 모델 배포는 CPU 및 GPU에서 평가되었으며, 각각 4ms 및 1.2ms의 추론 시간을 기록하여 실시간 사용이 가능함을 입증했다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 고정된 신경 반응 전방 모델을 역으로 푸는 데에 훈련될 수 있으며, 이는 감각 신경의 보조 장치에서 원하는 인지 결과를 유도하는 자극 생성에 기여하는가?
• RQ2 HNA는 다양한 환자별 파rameter에서 기존의 인코딩 전략과 비교해 인지 정확도와 내구성 측면에서 어떻게 성능을 냈는가?
• RQ3 HNA 프레임워크에서 정확한 모델 대신 서rogate 전방 모델을 사용할 경우의 성능 트레이드오프와 위험은 무엇인가?
• RQ4 HNA는 환자별 맞춤형 자극 매핑을 학습함으로써 환자 간 인지 결과의 변동성을 줄일 수 있는가?
• RQ5 HNA 프레임워크는 시력 외의 다른 감각 신경의 보조 장치 적용에도 일반화 가능한가?

주요 결과

• HNA는 손으로 쓴 숫자와 일상 물체의 분할된 이미지를 포함한 고해상도 환자별 맞춤형 자극을 생성하며, 모든 시뮬레이션된 환자에서 기존의 인코딩 전략보다 뛰어난 성능을 보였다.
• HNA 인코더는 GPU에서 1.2ms, CPU에서 4ms의 추론 시간을 기록하여 실시간 배포 가능성을 입증했다.
• 잘 훈련된 서rogate 전방 모델을 사용하더라도 HNA 성능이 저하되었으며, 이는 인코더가 모델의 정확도 부족을 악용하는 경향이 있음을 시사하며, 서rogate 기반 훈련의 위험성을 강조한다.
• HNA는 단순 인코딩 방식이 좁은 파rameter 범위 외에서 성능이 떨어지는 것과는 달리, 환자 간 인지 결과의 변동성을 줄였다.
• 환자별 파rameter가 잘못 지정되거나 알려지지 않은 경우에도 HNA 프레임워크는 효과를 유지하며, 모델 불확실성에 대한 강건성을 시사한다.
• 기본 방법 대비 HNA는 더 뛰어난 재구성 정확도를 보였으며, 이는 해상도 제한이 아닌 전방 모델의 정확한 역모델링 덕분에 시각 품질 향상이 이루어졌음을 의미한다.