[論文レビュー] SONIA: an immersive customizable virtual reality system for the education and exploration of brain networks

Owen Hellum, Christopher J. Steele+1 more|arXiv (Cornell University)|Jan 24, 2023

Anatomy and Medical Technology参考文献 18被引用数 4

ひとこと要約

SONIAは、脳ネットワークの教育および探求を目的とした、革新的で没入感がありカスタマイズ可能な仮想現実（VR）システムであり、詳細な神経解剖学的および機能的結合データとのマルチスケールインタラクションを可能にしている。ユーザー研究を通じた評価により、高い使いやすさ、強い視覚的インパクト、顕著な教育的価値を示しており、VRにおけるカスタマイズ可能なナラティブと3次元脳サブシステム可視化を初めて統合した画期的なシステムである。

ABSTRACT

While mastery of neuroanatomy is important for the investigation of the brain, there is an increasing interest in exploring the neural pathways to better understand the roles of neural circuitry in brain functions. To tackle the limitations of traditional 2D-display-based neuronavigation software in intuitively visualizing complex 3D anatomies, several virtual reality (VR) and augmented reality (AR) solutions have been proposed to facilitate neuroanatomical education. However, with the increasing knowledge on brain connectivity and the functioning of the sub-systems, there is still a lack of similar software solutions for the education and exploration of these topics, which demand more elaborate visualization and interaction strategies. To address this gap, we designed the immerSive custOmizable Neuro learnIng plAform (SONIA), a novel user-friendly VR software system with a multi-scale interaction paradigm that allows flexible customization of learning materials. With both quantitative and qualitative evaluations through user studies, the proposed system is shown to have high usability, attractive visual design, and good educational value. As the first immersive system that integrates customizable design and detailed narratives of the brain sub-systems for the education of neuroanatomy and brain connectivity, SONIA showcases new potential directions and provides valuable insights regarding medical learning and exploration in VR.

研究の動機と目的

• 脳結合およびサブシステム機能の教育・探求に向けた没入型でインタラクティブなVRツールの不足に対処すること。
• 2次元神経ナビゲーションソフトウェアが複雑な3次元脳解剖学および神経経路を可視化する際の限界を克服すること。
• カスタマイズ可能な学習資料と脳サブシステムの詳細なナラティブをサポートする使いやすいVRプラットフォームの開発。
• 定量的および定性的なユーザー研究を通じて、システムの使いやすさ、視覚的デザイン、教育的有効性の評価。

提案手法

• マクロスケールの脳構造からミクロスケールの神経回路までをナビゲートできるマルチスケールインタラクションパラダイムの設計。
• 教育的目標に応じて学習コンテンツおよびナラティブをカスタマイズ可能なVRインターフェースの実装。
• VRレンダリング技術を用いて、詳細な神経解剖学的および機能的結合データを3次元の没入型環境に統合。
• Unity3DおよびVRハードウェア（例：Meta Quest 2）を用いて、リアルタイムインタラクションを可能にするシステムの構築と展開。
• 脳サブシステムおよびその機能的役割を案内するナラティブ駆動型教育コンテンツの統合。
• システムのパフォーマンスおよびユーザーエクスペリエンスの評価のため、定量的指標（例：システム使いやすさ尺度）と定性的フィードバックを併用したユーザー研究の実施。

実験結果

リサーチクエスチョン

• RQ1 SONIAの没入型VR環境は、従来の2次元神経解剖学ツールと比較して、複雑な3次元脳構造の理解をどの程度支援するか？
• RQ2 SONIAのカスタマイズ可能なナラティブ機能は、脳ネットワーク教育におけるユーザーエンゲージメントおよび学習効果をどの程度向上させるか？
• RQ3 神経科学の専門知識の程度が異なるユーザーの間で、SONIAの使いやすさおよび視覚的インパクトはどのように評価されるか？
• RQ4 SONIAは、仮想環境において脳結合およびサブシステム機能の探求をどの程度効果的に可能にするか？

主な発見

• SONIAは高いシステム使いやすさスコアを達成しており、VR環境における使いやすさと直感的なナビゲーションが確認された。
• ユーザーはVR体験の視覚的デザインおよび没入感に対して高い満足度を示した。
• カスタマイズ可能なナラティブ機能は、ユーザーが個人に合わせた、文脈を豊かにした学習パスを可能にする主な強みとされており、評価された。
• 定性的フィードバックにより、SONIAが脳結合およびサブシステム機能の探求を魅力的かつ効果的に支援していることが確認された。
• システムは顕著な教育的価値を示しており、ユーザーは複雑な脳ネットワーク相互作用の理解が向上したと報告した。
• マルチスケールインタラクションパラダイムはユーザーにより効果的に採用され、異なる解剖学的および機能的詳細レベル間のスムーズな遷移が可能になった。