[論文レビュー] Adapting Brain-Like Neural Networks for Modeling Cortical Visual Prostheses

Jacob Granley, Alexander Riedel+1 more|arXiv (Cornell University)|Sep 27, 2022

Advanced Memory and Neural Computing被引用数 5

ひとこと要約

本稿では、皮質視覚プロステーシスによる誘発される飛蚊症（閃光）をモデル化するため、脳に類似した畳み込みニューラルネットワーク（CNN）の適応を提案する。刺激強度を人工ニューロン応答にマッピングする神経学的にインspiredな手法を用いてCNN活性化を復号することで、質的に正確なイエローウェイトの円形飛蚊症を生成し、きらめきのような詳細を示す。これは臨床報告と一致し、V1およびV2における飛蚊症サイズの既知の傾向を再現する。

ABSTRACT

Cortical prostheses are devices implanted in the visual cortex that attempt to restore lost vision by electrically stimulating neurons. Currently, the vision provided by these devices is limited, and accurately predicting the visual percepts resulting from stimulation is an open challenge. We propose to address this challenge by utilizing 'brain-like' convolutional neural networks (CNNs), which have emerged as promising models of the visual system. To investigate the feasibility of adapting brain-like CNNs for modeling visual prostheses, we developed a proof-of-concept model to predict the perceptions resulting from electrical stimulation. We show that a neurologically-inspired decoding of CNN activations produces qualitatively accurate phosphenes, comparable to phosphenes reported by real patients. Overall, this is an essential first step towards building brain-like models of electrical stimulation, which may not just improve the quality of vision provided by cortical prostheses but could also further our understanding of the neural code of vision.

研究の動機と目的

• 皮質視覚プロステーシスにおける電気刺激からの視覚的知覚（飛蚊症）を予測する課題に対処すること。
• 物体認識を目的に訓練された脳に類似した深層ニューラルネットワーク（DNN）が、刺激に対する皮質応答の神経学的に妥当なモデルとして機能するかを検討すること。
• 生物学的皮質組織の構造を模倣するように、刺激パターンからDNNニューロン活性化にマッピングする復号フレームワークを開発すること。
• モデルの予測を、飛蚊症の外観およびサイズに関する既知の臨床的観察と照合して検証すること。

提案手法

• Brain-Scoreにおける高い性能とサルの視覚領域V1、V2、V4、ITとの整合性を考慮し、EfficientNet-B1モデル（effnetb1）を選定した。
• 主に刺激モデル化の対象としてV1およびV2層（blocks.3.0およびblocks.3）に焦点を当てた。
• 刺激強度を人工ニューロンにマッピングするための重み付き活性化スキームを採用した。各ニューロンの刺激強度は、その好ましい刺激の最大活性化に、刺激電流でスケーリングされたものとした。
• 活性化されたニューロンのすべての刺激に対して重み付き平均を計算することで予測飛蚊症を生成した。重みは刺激強度に基づいた。
• 表面電極を用いるOrionおよびユタアレイを用いるCORTIVISという2つのプロステーシスデバイスをシミュレートした。電極間隔およびサイズに差異がある。
• 刺激の空間的拡散をモデル化するための電流拡散パラメータ（ρ）を導入し、飛蚊症サイズが拡散の関数としてどのように変化するかを分析可能にした。

実験結果

リサーチクエスチョン

• RQ1 物体認識を目的に訓練された脳に類似したDNNが、視覚皮質における電気刺激によって誘発される飛蚊症の定性的な特徴を予測できるか？
• RQ2 予測された飛蚊症が、イエローウェイトの色合い、円形の形状、およびきらめきや花火のようなテクスチャといった臨床的観察された特徴を再現するか？
• RQ3 飛蚊症サイズは電極位置（視野中心からの距離）および電流拡散にどのように依存するか？また、モデルは既知の皮質拡大効果を再現するか？
• RQ4 異なるプロステーシスデバイス（例：Orion対CORTIVIS）の間で飛蚊症の外観の違いをモデルが予測できるか？

主な発見

• モデルは、主にイエローウェイトの円形の塊であり、断続的な明るいパッチのような高周波数の詳細を示す飛蚊症を生成した。これは患者報告の飛蚊症に非常に類似していた。
• Orionの予測飛蚊症はCORTIVISのものよりも大きく、彩度も高かった。これは電極設計の違いが反映されたもので、CORTIVISの飛蚊症は疎らでわずかに色が強い傾向を示した。
• V1からV2への刺激移行に伴い、飛蚊症サイズは平均で41%増加した。これは皮質拡大と過去の実験的知見と一致した。
• 低および高電流拡散値（ρ）の両方で飛蚊症サイズが飽和した。これは最小および最大飛蚊症サイズの理論的限界を示し、神経生理学的制約と整合的であった。
• Orionでは飛蚊症サイズと視野中心からの距離との間に強く線形な関係が観察された（p < .001）。一方、CORTIVISではその関係は有意ではなかった（p = 0.803）。これはデバイス固有の神経応答パターンの違いを示唆した。
• モデルの予測は手動のチューニングなしに復号メカニズムから自然に生じた。これは、複雑な知覚的特徴が生物学的に妥当なDNN復号からも生じ得ることを示した。