[논문 리뷰] SONIA: an immersive customizable virtual reality system for the education and exploration of brain networks

Owen Hellum, Christopher J. Steele외 1명|arXiv (Cornell University)|2023. 01. 24.

Anatomy and Medical Technology참고 문헌 18인용 수 4

한 줄 요약

SONIA는 뇌 네트워크의 교육과 탐색을 위한 새로운 가상현실 시스템으로, 세밀한 신경해부학적 및 기능적 연결 데이터와 함께 다중 척도 상호작용을 가능하게 하는 몰입감 있고 커스터마이징 가능한 가상현실 환경을 설계하였다. 사용자 연구를 통해 평가된 결과, 높은 사용성, 강한 시각적 매력도, 뚜렷한 교육적 가치를 입증하였으며, VR 내에서 커스터마이징 가능한 내러티브와 3D 뇌 하위 시스템 시각화를 처음으로 통합한 사례로 평가된다.

ABSTRACT

While mastery of neuroanatomy is important for the investigation of the brain, there is an increasing interest in exploring the neural pathways to better understand the roles of neural circuitry in brain functions. To tackle the limitations of traditional 2D-display-based neuronavigation software in intuitively visualizing complex 3D anatomies, several virtual reality (VR) and augmented reality (AR) solutions have been proposed to facilitate neuroanatomical education. However, with the increasing knowledge on brain connectivity and the functioning of the sub-systems, there is still a lack of similar software solutions for the education and exploration of these topics, which demand more elaborate visualization and interaction strategies. To address this gap, we designed the immerSive custOmizable Neuro learnIng plAform (SONIA), a novel user-friendly VR software system with a multi-scale interaction paradigm that allows flexible customization of learning materials. With both quantitative and qualitative evaluations through user studies, the proposed system is shown to have high usability, attractive visual design, and good educational value. As the first immersive system that integrates customizable design and detailed narratives of the brain sub-systems for the education of neuroanatomy and brain connectivity, SONIA showcases new potential directions and provides valuable insights regarding medical learning and exploration in VR.

연구 동기 및 목표

• 뇌 연결성 및 하위 기능을 가르치고 탐색하기 위한 몰입감 있고 상호작용 가능한 VR 도구의 부족을 해결하기 위해.
• 복잡한 3D 뇌 해부학과 신경 경로를 시각화하는 데 한계를 보이는 2D 뇌 내비게이션 소프트웨어의 문제를 해결하기 위해.
• 사용자 친화적인 VR 플랫폼을 개발하여 뇌 하위 시스템의 맞춤형 학습 자료와 세부 내러티브를 지원하기 위해.
• 정량적 및 정성적 사용자 연구를 통해 시스템의 사용성, 시각 디자인, 교육적 효과를 평가하기 위해.

제안 방법

• macroscopic 뇌 구조에서부터 microscopic 신경 회로까지의 다중 척도 상호작용 파라다임을 설계하여 사용자가 탐색할 수 있도록 하였다.
• 교육 목표에 따라 학습 내용과 내러티브를 사용자 맞춤형으로 조정할 수 있는 커스터마이징 가능한 VR 인터페이스를 구현하였다.
• VR 렲영 기술을 사용하여 세밀한 신경해부학적 및 기능적 연결 데이터를 3D 몰입형 환경에 통합하였다.
• Unity3D와 VR 하드웨어(예: Meta Quest 2)를 사용하여 실시간 상호작용이 가능한 시스템을 구축하고 배포하였다.
• 사용자가 뇌 하위 시스템과 그 기능적 역할을 따라가도록 이끄는 내러티브 기반 교육 콘텐츠를 통합하였다.
• 시스템 성능과 사용자 경험을 평가하기 위해 정량적 지표(예: 시스템 사용성 척도)와 정성적 피드백을 모두 활용한 사용자 연구를 수행하였다.

실험 결과

연구 질문

• RQ1 SONIA의 몰입형 VR 환경은 복잡한 3D 뇌 해부학적 구조를 이해하는 데 있어 전통적인 2D 뇌 해부학 도구와 비교해 어떤가?
• RQ2 SONIA의 커스터마이징 가능한 내러티브 기능이 뇌 네트워크 교육에서 사용자 참여도와 학습 성과에 얼마나 기여하는가?
• RQ3 다양한 신경과학 전문 수준을 가진 사용자들 사이에서 SONIA의 사용성과 시각적 매력도는 어떻게 평가되는가?
• RQ4 SONIA는 가상 환경에서 뇌 연결성과 하위 기능 탐색을 얼마나 효과적으로 지원하는가?

주요 결과

• SONIA는 높은 시스템 사용성 점수를 기록하여 VR 환경 내에서 뛰어난 사용자 우수성과 직관적인 탐색 기능을 입증하였다.
• 사용자들은 VR 경험의 시각적 디자인과 몰입감 있는 품질에 대해 매우 만족감을 보였다.
• 커스터마이징 가능한 내러티브 기능은 사용자에게 개인화되고 맥락이 풍부한 학습 경로를 제공하는 핵심 강점으로 평가되었다.
• 정성적 피드백을 통해 SONIA가 몰입감 있게 뇌 연결성과 하위 기능 탐색을 효과적으로 지원하는 것으로 확인되었다.
• 시스템은 강력한 교육적 가치를 보였으며, 사용자들은 복잡한 뇌 네트워크 상호작용에 대한 이해도 향상을 보고하였다.
• 다중 척도 상호작용 파라다임은 사용자에 의해 성공적으로 채택되었으며, 다양한 해부학적 및 기능적 세부 수준 간의 원활한 전환을 가능케 하였다.