[論文レビュー] Deep Learning--Based Scene Simplification for Bionic Vision

Nicole Han, Sudhanshu Srivastava+3 more|arXiv (Cornell University)|Jan 30, 2021

Neuroscience and Neural Engineering参考文献 41被引用数 4

ひとこと要約

本論文は、網膜インプラントにおける補聴視の向上を目的として、自然なシーンを簡略化された表現に変換する深層学習ベースのシーン簡略化フレームワークを提案する。生物学的に現実的な視細胞の知覚モデルを用いて、物体セグメンテーションが、明著性や深度に基づく手法と比較して、仮想患者におけるシーン理解を著しく向上させることを示している。性能は、視細胞のサイズと伸びが増加するにつれて低下する。

ABSTRACT

Retinal degenerative diseases cause profound visual impairment in more than 10 million people worldwide, and retinal prostheses are being developed to restore vision to these individuals. Analogous to cochlear implants, these devices electrically stimulate surviving retinal cells to evoke visual percepts (phosphenes). However, the quality of current prosthetic vision is still rudimentary. Rather than aiming to restore "natural" vision, there is potential merit in borrowing state-of-the-art computer vision algorithms as image processing techniques to maximize the usefulness of prosthetic vision. Here we combine deep learning--based scene simplification strategies with a psychophysically validated computational model of the retina to generate realistic predictions of simulated prosthetic vision, and measure their ability to support scene understanding of sighted subjects (virtual patients) in a variety of outdoor scenarios. We show that object segmentation may better support scene understanding than models based on visual saliency and monocular depth estimation. In addition, we highlight the importance of basing theoretical predictions on biologically realistic models of phosphene shape. Overall, this work has the potential to drastically improve the utility of prosthetic vision for people blinded from retinal degenerative diseases.

研究の動機と目的

• 網膜変性疾患を有する人々のバイオニックビジョンの有用性を向上させるために、コンピュータビジョンアルゴリズムを網膜インプラントの事前処理として活用すること。
• セマンティックセグメンテーション、明著性、単眼深度推定の3つの異なる深層学習ベースのシーン簡略化戦略が、シミュレートされた補聴視（SPV）におけるシーン理解に与える影響を評価すること。
• 視覚生理学的妥当性を確認した神経生物学的にインspiredな視細胞形状モデルを用いて、より正確な性能評価が可能な現実的なSPV予測を生成すること。
• 単一の円形視細胞の仮定を越えて、視細胞サイズと形状の変動に応じた知覚性能を体系的に評価すること。
• 個々の網膜インプラントシステムに特化した、将来のリアルタイムかつエッジ対応の画像処理パイプラインの基盤を提供すること。

提案手法

• 本研究では、自然な屋外シーンを事前処理するために、最先端の深層学習モデル（セマンティックセグメンテーション、視覚的明著性、単眼深度推定）を用いる。
• 視覚生理学的妥当性を確認したコンピュータモデル（pulse2percept）を用いて、網膜プロステーシスのシミュレーションを行い、現実的な空間的拡散と形状パラメータ（半径 ρ と長軸比 λ）を組み込む。
• 処理済み画像は、電極グリッド構成に基づいてセグメンテーションまたは明著領域を視細胞パターンにマッピングすることで、シミュレートされた補聴視（SPV）出力に変換される。
• 視覚を持つ被験者（仮想患者）を対象に、SPVレンダリング済みシーンにおける二値検出タスク（人物および車両の識別）を実施するユーザースタディを実施する。
• 性能は感度指数 d′ を用いて定量評価され、異なる簡略化戦略および視細胞パラメータの影響を統計的分析で比較する。
• 電極グリッドサイズ（8×8、16×16、32×32）を評価することで、空間分解能の変化が知覚性能に与える影響を検証する。

実験結果

リサーチクエスチョン

• RQ1 深層学習ベースのシーン簡略化は、ベースライン手法と比較して、シミュレートされた補聴視におけるシーン理解を向上させるか？
• RQ2 セマンティックセグメンテーション、明著性、深度推定の異なるシーン簡略化戦略は、物体検出タスクにおいてどのように比較されるか？
• RQ3 現実的な視細胞形状（サイズと長軸比）は、SPVにおける知覚性能にどの程度影響を与えるか？
• RQ4 インプラントグリッドの電極数を増加させることで、シーン理解の性能に顕著な向上が見られるか？
• RQ5 生物学的に現実的な視細胞モデルを用いることで、理想的な円形視細胞を仮定するのと比較して、SPV予測の妥当性が向上するか？

主な発見

• 物体セグメンテーションは、明著性および深度ベースのモデルを著しく上回り、すべての条件下で最高の d′ 値を示した。
• 視細胞のサイズ（ρ）および長軸比（λ）が増加するにつれて性能が低下し、ρ = 500 μm および λ = 2.0 の条件下で最も悪い性能が観察された。
• 大きな、伸びた視細胞であっても、被験者は運試しレベル（d′ > 0）を超えて性能を示したため、すべての簡略化戦略が検出可能な知覚を可能にした。
• 電極グリッドを 8×8 から 16×16 に増加させることで性能が向上したが、さらに 32×32 に増加させても有意な改善は得られなかった。
• 本研究では、現実的な視細胞形状のモデリングが不可欠であることが確認された。孤立した円形視細胞を仮定すると、性能予測が楽観的になりすぎる可能性がある。
• 結果から、屋外ナビゲーションタスクにおけるバイオニックビジョンの有用性を向上させるために、セマンティックセグメンテーションが最も効果的な事前処理戦略であると考えられる。