[論文レビュー] Human-in-the-Loop Optimization for Deep Stimulus Encoding in Visual Prostheses

Jacob Granley, Tristan Fauvel+2 more|PubMed|Jun 16, 2023

Advanced Memory and Neural Computing参考文献 41被引用数 5

ひとこと要約

この論文は、深層学習ベースのスティムラスエンコーディングと好みに基づくベイズ最適化を組み合わせることで、視覚プロセスの個人化を実現する人間を含むループ最適化（HILO）フレームワークを提案する。フォワードモデル上で深層スティムラスエンコーダー（DSE）を学習し、患者の好みの比較によって精錬することで、最小限のユーザーフィードバックで高品質で患者固有の知覚を達成し、100人のシミュレートされた患者のうち99人で非個人化エンコーダーを上回った。

ABSTRACT

Neuroprostheses show potential in restoring lost sensory function and enhancing human capabilities, but the sensations produced by current devices often seem unnatural or distorted. Exact placement of implants and differences in individual perception lead to significant variations in stimulus response, making personalized stimulus optimization a key challenge. Bayesian optimization could be used to optimize patient-specific stimulation parameters with limited noisy observations, but is not feasible for high-dimensional stimuli. Alternatively, deep learning models can optimize stimulus encoding strategies, but typically assume perfect knowledge of patient-specific variations. Here we propose a novel, practically feasible approach that overcomes both of these fundamental limitations. First, a deep encoder network is trained to produce optimal stimuli for any individual patient by inverting a forward model mapping electrical stimuli to visual percepts. Second, a preferential Bayesian optimization strategy utilizes this encoder to optimize patient-specific parameters for a new patient, using a minimal number of pairwise comparisons between candidate stimuli. We demonstrate the viability of this approach on a novel, state-of-the-art visual prosthesis model. We show that our approach quickly learns a personalized stimulus encoder, leads to dramatic improvements in the quality of restored vision, and is robust to noisy patient feedback and misspecifications in the underlying forward model. Overall, our results suggest that combining the strengths of deep learning and Bayesian optimization could significantly improve the perceptual experience of patients fitted with visual prostheses and may prove a viable solution for a range of neuroprosthetic technologies.

研究の動機と目的

• 患者固有の神経応答がもたらす顕著な知覚的結果のばらつきに起因する、視覚プロセスにおける個人化されたスティムラスエンコーディングの挑戦に取り組む。
• 高次元のスティムラスに対して不適切な伝統的ベイズ最適化の限界と、患者固有のマッピングに関する完全な知識を仮定する深層学習の限界を克服する。
• 患者からのペアワイズの好みフィードバックのみを用いて、刺激パラメータを最適化する実用的でスケーラブルな手法を開発する。
• 臨床専門家や患者ごとの長時間のトレーニングを必要とせず、迅速かつ適応的なプロセスのキャリブレーションを可能にする。
• ノイズの多いフィードバックや、神経応答のフォワードモデルの不正確さに対してもロバストであることを示す。

提案手法

• スティムラスから予測される知覚へのマッピングを表すフォワードモデルを逆転させるための深層スティムラスエンコーダー（DSE）を、患者固有のパrameterを潜在変数として学習する。
• 2つのスティムラスのペア間での比較に基づいて患者の好みを推定する、好みに基づくベイズ最適化（PBO）フレームワークにDSEを統合する。
• 各イテレーションで、最適な患者固有DSEパラメータに関する情報量の増加を最大化するように、新しいスティムラスペアを適応的に選択する。
• DSEパラメータ上での好み関数をガウス過程でモデル化し、各患者の比較後に事後分布を更新する。
• DSEが高次元のスティムラス空間（13パラメータ）において一般化できる能力を活用し、最適化の探索空間をモデルパラメータに削減する。
• 最適化されたDSEをCPU上で5ms未満でリアルタイムのスティムラス予測に使用可能にし、高いフレームレートを実現する。

Figure 1: Left : Deep stimulus encoder ( DSE ). A forward model ( $f$ ) is used to approximate the perceptual response to electrical stimuli, subject to patient-specific parameters $\phi$ . An encoder ( $f^{-1}$ ) is then learned to minimize the perceptual error between predicted and target percept.

実験結果

リサーチクエスチョン

• RQ1 フォワードモデル上で学習された深層スティムラスエンコーダーが、最小限で間接的なフィードバックのみを用いて、個々の患者に効果的にカスタマイズ可能か？
• RQ2 フォワードモデルが不正確またはノイズを含む場合、HILOフレームワークはどの程度の性能を示すか？
• RQ3 人間を含むループ最適化は、非個人化された深層エンコーダーと比較して、知覚の質をどの程度向上させるか？
• RQ4 現代の視覚プロセスに一般的な高次元のスティムラス空間に、このフレームワークはスケーラブルか？
• RQ5 ノイズの多いまたは一貫性のない患者の好みの反応に対して、最適化プロセスはどの程度ロバストか？

主な発見

• 100人のシミュレートされた患者において、非個人化DSEと比較して99%の成功確率で知覚の質が向上し、強力な個人化の恩恵を示した。
• 不正確なフォワードモデルが存在する状況でも、最適化されたDSEは顕著に高い知覚の質を実現した。
• ノイズの多い患者のフィードバックに対しても、最適化の効率性と収束速度を維持し、ロバストであった。
• 1回のイテレーションあたり平均3秒以内でスティムラス最適化が完了し、全体のキャリブレーションは数分で完了し、実用的な展開が可能であった。
• 最終的なDSEはCPU上で5ms未満でスティムラスを予測でき、リアルタイムのプロセスビジョンに適した高いフレームレートをサポートした。
• 専門家の介入を必要とせず、効果的な個人化が可能であり、臨床的または家庭環境での定期的な再キャリブレーションに適していた。

Figure 2: Left : Visual prosthesis. Incoming target images are transmitted from a camera to an implant in the retina, which encodes the image as an electrical stimulus pattern. Center : Electrical stimulation (red disc) of a nerve fiber bundle (gray lines) leads to elongated tissue activation (gray