[논문 리뷰] Adapting Brain-Like Neural Networks for Modeling Cortical Visual Prostheses

Jacob Granley, Alexander Riedel외 1명|arXiv (Cornell University)|2022. 09. 27.

Advanced Memory and Neural Computing인용 수 5

한 줄 요약

이 논문은 뇌 유사 컨볼루션 신경망(CNN)을 변형하여 피각 시각 보조 기구에 의해 유도된 펄프린을 모델링하는 것을 제안한다. 자극 강도를 인공 신경세포 반응에 매핑하는 신경학적으로 영감을 받은 방법을 사용해 CNN 활성도를 복원함으로써, 모델은 임상 보고와 일치하며 V1과 V2에서 관찰된 펄프린 크기의 알려진 경향을 반영한 질적으로 정확한 노란색-흰색, 원형의 펄프린을 생성한다. 이 펄프린은 반짝이는 세부 정보를 포함한다.

ABSTRACT

Cortical prostheses are devices implanted in the visual cortex that attempt to restore lost vision by electrically stimulating neurons. Currently, the vision provided by these devices is limited, and accurately predicting the visual percepts resulting from stimulation is an open challenge. We propose to address this challenge by utilizing 'brain-like' convolutional neural networks (CNNs), which have emerged as promising models of the visual system. To investigate the feasibility of adapting brain-like CNNs for modeling visual prostheses, we developed a proof-of-concept model to predict the perceptions resulting from electrical stimulation. We show that a neurologically-inspired decoding of CNN activations produces qualitatively accurate phosphenes, comparable to phosphenes reported by real patients. Overall, this is an essential first step towards building brain-like models of electrical stimulation, which may not just improve the quality of vision provided by cortical prostheses but could also further our understanding of the neural code of vision.

연구 동기 및 목표

• 피각 시각 보조 기구에서 전기 자극에 의해 유도되는 시각적 인식(펄프린)을 예측하는 데 도전하는 것.
• 객체 인식을 위해 훈련된 뇌 유사 깊이 신경망(DNN)이 자극에 대한 피각 반응의 신경학적으로 타당한 모델로 사용될 수 있는지 탐색하는 것.
• 생물학적 피각 조직 구조를 모방하는 방식으로 자극 패tern을 DNN 신경세포 활성도로 매핑하는 복원 프레임워크를 개발하는 것.
• 모델의 예측 결과를 펄프린의 외관과 크기에서 알려진 임상 관찰과 비교 검증하는 것.

제안 방법

• Brain-스코어에서 높은 성능를 보이며 영양사자리의 V1, V2, V4, IT 영역와 부합하는 것으로 선택된 EfficientNet-B1 모델(efnetb1)을 사용.
• 자극 모델링의 주요 대상으로 V1 및 V2 층(블록.3.0 및 블록.3)에 집중.
• 자극 강도를 인공 뉴런에 매핑하기 위해 가중치 기반 활성도 방식을 사용: 각 뉴런의 자극 강도는 그에 해당하는 선호 자극의 최대 활성도를 자극 전류로 스케일링하여 유도.
• 활성화된 뉴런들에 대해 모든 자극의 가중 평균을 계산하여 예측된 펄프린을 생성하며, 가중치는 자극 강도에 기반한다.
• 서피셜 전극을 사용하는 오리온(Orion)과 유타 앰플리터(_utah_array_)를 사용하는 CORTIVIS를 시뮬레이션하여 전극 간격과 크기가 다른 두 가지 보조 기구를 구현.
• 자극의 공간적 확산을 모델링하기 위해 전류 확산 파rameter(ρ)를 적용하여, 확산의 함수로 펄프린 크기를 분석할 수 있도록 함.

실험 결과

연구 질문

• RQ1 객체 인식을 위해 훈련된 뇌 유사 DNN가 전기 자극에 의해 유도된 피각 시각 영역의 펄프린의 정성적 특성을 예측할 수 있는가?
• RQ2 예측된 펄프린이 노란색-흰색 색조, 원형 모양, 반짝임 또는 불꽃처럼 보이는 질감과 같은 임상적으로 관찰된 특성을 재현하는가?
• RQ3 전극 위치(편심도)와 전류 확산에 따라 펄프린 크기가 어떻게 변하는가? 그리고 모델은 알려진 피각 확대 효과를 재현하는가?
• RQ4 다른 보조 기구(예: 오리온 대비 CORTIVIS) 간의 펄프린 외관 차이를 모델이 예측할 수 있는가?

주요 결과

• 모델은 주로 노란색-흰색, 원형의 뭉치 형태의 펄프린을 생성하였으며, 간헐적인 밝은 패치와 같은 고주파 세부 정보를 포함하여 환자 보고와 유사하였다.
• 오리온의 예측된 펄프린은 CORTIVIS의 것보다 크고 더 포화도가 높았으며, CORTIVIS의 펄프린은 흐리고 약간 더 색다르게 나타나 전극 설계의 차이를 반영하였다.
• V1 자극에서 V2 자극으로 이동할 경우 평균 41% 증가하여, 피각 확대와 이전의 실험적 발견과 일치하는 펄프린 크기 증가를 보였다.
• 저강도 및 고강도 전류 확산 값(ρ)에서 펄프린 크기가 포화되는 것으로 나타나, 최소 및 최대 펄프린 크기에 대한 이론적 한계가 존재함을 시사하였으며, 이는 신경생리학적 제약과 일치한다.
• 오리온에서는 펄프린 크기와 편심도 사이에 강한 선형 관계가 관찰되었음(p < .001), 그러나 CORTIVIS에서는 그렇지 않았음(p = 0.803), 이는 기기별로 신경 반응 패턴의 차이가 있음을 시사한다.
• 복잡한 시각적 특성들이 생물학적으로 타당한 DNN 복원 메커니즘에서 자연스럽게 유도되었으며, 수동 조정 없이도 예측 결과가 도출됨을 보여, 생물학적으로 타당한 DNN 복원 방식을 통해 복잡한 인지적 특성이 유도될 수 있음을 시사한다.