[論文レビュー] Hybrid Neural Autoencoders for Stimulus Encoding in Visual and Other Sensory Neuroprostheses

Jacob Granley, Lucas Relic+1 more|arXiv (Cornell University)|May 26, 2022

Neuroscience and Neural Engineering被引用数 12

ひとこと要約

本稿では、神経応答の固定された前向きモデルを逆転させるように学習するハイブリッドニューラルオートエンコーダー（HNA）を提案する。このHNAは、高精細で患者特異的な電気的刺激パターンを、感覚神経補綴装置において生成する。HNAは、手書きの数字や日常的な物体の視覚的錯覚を模擬する際、従来の符号化戦略を上回り、多様な患者モデルにおいて顕著に感知の正確性を向上させる。

ABSTRACT

Sensory neuroprostheses are emerging as a promising technology to restore lost sensory function or augment human capabilities. However, sensations elicited by current devices often appear artificial and distorted. Although current models can predict the neural or perceptual response to an electrical stimulus, an optimal stimulation strategy solves the inverse problem: what is the required stimulus to produce a desired response? Here, we frame this as an end-to-end optimization problem, where a deep neural network stimulus encoder is trained to invert a known and fixed forward model that approximates the underlying biological system. As a proof of concept, we demonstrate the effectiveness of this Hybrid Neural Autoencoder (HNA) in visual neuroprostheses. We find that HNA produces high-fidelity patient-specific stimuli representing handwritten digits and segmented images of everyday objects, and significantly outperforms conventional encoding strategies across all simulated patients. Overall this is an important step towards the long-standing challenge of restoring high-quality vision to people living with incurable blindness and may prove a promising solution for a variety of neuroprosthetic technologies.

研究の動機と目的

• 感覚神経補綴装置において、現在のところ不自然で歪んだ錯覚を引き起こす最適でない刺激符号化の問題に対処すること。
• 神経応答の既知の前向きモデルを逆転させるように学習する深層ニューラルネットワークエンコーダーを用いて、刺激設計の逆問題をエンドツーエンド微分可能最適化として定式化すること。
• 現実的な神経動態を有するシミュレートされた患者モデルを用いて、HNAの有効性を視覚神経補綴装置において示すこと。
• HNAフレームワークにおいて、計算的に高価または微分不能な前向きモデルの代わりに補助モデル（サロゲートモデル）を使用する際の実現可能性とリスクを評価すること。
• 患者特異的で高精細な刺激符号化を可能にし、錯覚の結果における患者間ばらつきを低減すること。

提案手法

• HNAは、刺激から神経的または錯覚的応答へとマッピングする固定で微分可能な前向きモデル（デコーダー）を逆転させるように学習する深層ニューラルネットワークエンコーダーを採用する。
• エンコーダーは、予測された神経応答とターゲット応答の再構成誤差を最小化するように、バックプロパゲーションを用いてエンドツーエンドで訓練される。
• 前向きモデルは、皮質応答の数値シミュレーションであるか、元のモデルが微分不能または遅すぎる場合の代替として、ニューラルネットワークの近似である。
• 刺激は、手書きの数字やセグメンテーション処理済みの物体画像などの静的視覚的ターゲットを対象とし、フレームごとに推論が行われる。
• エンコーダーに個々のモデルパラメータ（例：空間的広がり、増幅係数）を条件付けすることで、患者特異的なチューニングが可能となる。
• CPUおよびGPUでのモデルデプロイメントを評価し、それぞれ1枚あたり4msおよび1.2msの推論時間となり、リアルタイム利用が可能であることが示された。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、固定された神経応答の前向きモデルを逆転させ、感覚神経補綴装置において望ましい錯覚的結果を引き起こす刺激を生成できるか？
• RQ2 HNAは、多様な患者特異的パラメータにおいて、従来の符号化戦略と比較して、どの程度感知の正確性と耐性に優れているか？
• RQ3 HNAフレームワークにおいて、正確なモデルの代わりに補助モデルを使用する際の性能のトレードオフとリスクは何か？
• RQ4 HNAは、患者特異的な刺激マッピングを学習することで、錯覚の結果における患者間ばらつきを低減できるか？
• RQ5 HNAフレームワークは、視覚を越えて他の感覚神経補綴応用にも一般化可能か？

主な発見

• HNAは、手書きの数字や日常的な物体のセグメンテーション画像を高精細で患者特異的に再現する刺激を生成し、すべてのシミュレートされた患者において、従来の符号化戦略を顕著に上回った。
• HNAエンコーダーは、GPU上で1.2ms、CPU上で4msの推論時間に達し、神経補綴システムにおけるリアルタイムデプロイメントの可能性を示した。
• 良好に訓練された補助前向きモデルでさえも、HNAの性能が低下した。これは、エンコーダーがモデルの不正確さを悪用する傾向にあることを示しており、補助モデルを用いた訓練におけるリスクを浮き彫りにした。
• HNAは、ナーブな符号化戦略に比べ、患者間の錯覚的結果のばらつきを低減した。ナーブな符号化戦略は、狭いパrameter範囲外では性能が著しく劣化する。
• 患者特異的パラメータが誤って指定されたり、未知のままでも、HNAフレームワークは依然として有効であった。これは、モデルの不確実性に対して強い耐性を示している。
• HNAはベースライン手法に比べ、優れた再構成正確性を示した。視覚的品質の向上は、空間分解能の制限ではなく、前向きモデルの正確な逆転によるものであるとされた。