[논문 리뷰] AI-Enhanced Virtual Reality in Medicine: A Comprehensive Survey

Yixuan Wu, Kaiyuan Hu외 2명|arXiv (Cornell University)|2024. 02. 05.

COVID-19 diagnosis using AI인용 수 4

한 줄 요약

이 논문은 의료 분야에서 인공지능(AI)이 향상시킨 가상현실(VR)에 대한 첫 번째 체계적 종합 조사로, 의료 진단, 치료 및 훈련 전반에 걸쳐 AI-VR 응용 프로그램을 분류하고 분석하기 위해 '시각화 향상', 'VR 관련 의료 데이터 처리', 'VR 보조 치료'의 세 단계 분류 체계를 제안한다. AI 기반 VR이 진단 정확도, 수술 계획 수립 및 원격 협업을 향상시키는 방식을 강조하면서도, 데이터 통합, 윤리, 임상 적용과 관련된 주요 과제들과 향후 방향성을 밝히고 있다.

ABSTRACT

With the rapid advance of computer graphics and artificial intelligence technologies, the ways we interact with the world have undergone a transformative shift. Virtual Reality (VR) technology, aided by artificial intelligence (AI), has emerged as a dominant interaction media in multiple application areas, thanks to its advantage of providing users with immersive experiences. Among those applications, medicine is considered one of the most promising areas. In this paper, we present a comprehensive examination of the burgeoning field of AI-enhanced VR applications in medical care and services. By introducing a systematic taxonomy, we meticulously classify the pertinent techniques and applications into three well-defined categories based on different phases of medical diagnosis and treatment: Visualization Enhancement, VR-related Medical Data Processing, and VR-assisted Intervention. This categorization enables a structured exploration of the diverse roles that AI-powered VR plays in the medical domain, providing a framework for a more comprehensive understanding and evaluation of these technologies. To our best knowledge, this is the first systematic survey of AI-powered VR systems in medical settings, laying a foundation for future research in this interdisciplinary domain.

연구 동기 및 목표

• 의료 분야에서 AI가 향상시킨 VR 응용 프로그램을 체계적으로 분류하기 위한 종합적이고 체계적인 프레임워크를 구축하기 위해.
• 의료 분야에서 AI와 VR의 융합 분야에 대한 체계적인 개요가 부족한 점을 보완하기 위해.
• 실제 의료 현장에서 AI-VR 시스템을 구현할 때 발생하는 기술적, 임상적, 윤리적 과제를 분석하기 위해.
• 진단, 치료 및 원격의료 분야에서의 몰입형 의료 기술 분야의 연구 격차와 향후 방향성을 규명하기 위해.
• 현재의 관행을 근거로 한 평가를 통해 신뢰할 수 있고 사용자 수용이 가능하며 임상적으로 실현 가능한 AI-VR 시스템의 개발을 지원하기 위해.

제안 방법

• 시각화 향상, VR 관련 의료 데이터 처리, VR 보조 치료의 세 가지 카테고리로 구성된 새로운 분류 체계를 제안한다.
• 의료 VR 환경의 재구성과 해석을 위해 생성 모델, 신경 은닉 함수, 장면 그래프 모델링 기법을 검토한다.
• 실시간 수술 환경 이해를 위해 AI 기반 시각질문응답(VQA) 및 시각질문 국소화 응답(VQLA) 기법을 분석한다.
• AI 학습 및 수술 이해를 가능하게 하는 다중모odal 데이터셋, 예를 들어 MVOR, 4D-OR 및 수술 단계 인식 데이터셋의 역할을 평가한다.
• 자연어 처리(NLP)와 소니피케이션을 통합하여 임상적 해석 및 환자-VR 상호작용을 향상시킨다.
• 실시간 의사결정 지원을 위한 상호작용형 AI를 활용한 인간-중심 협업 시스템을 검토하여 수술 및 진단 워크플로우에서의 실시간 의사결정 지원를 분석한다.

Figure 1: Demonstrating the workflow of AI-enhanced VR-assisted medical services. First, Visualization Enhancement focuses on the augmentation of a user’s visual and sensory perception within a virtual space. Next, VR-related Medical Data Processing discusses how VR, combined with AI, facilitates in

실험 결과

연구 질문

• RQ1 AI가 향상시킨 VR은 의료 서비스 전 과정에서 어떻게 체계적으로 분류될 수 있으며, 이를 통해 임상적 이해와 적용이 어떻게 향상될 수 있는가?
• RQ2 정확하고 몰입감 있는 의료 VR 경험을 가능하게 하는 주요 기술적 요소들—예를 들어 생성 모델, 장면 그래프, VQA—는 무엇인가?
• RQ3 AI-VR 시스템은 복잡한 의료 환경에서 실시간 절차 안내, 수술 계획 수립 및 다학제적 협업을 어떻게 지원하는가?
• RQ4 의료 현장에서 AI-VR의 도입을 저해하는 주요 데이터, 윤리 및 사용성 과제는 무엇인가?
• RQ5 원격의료, 정신건강 및 개인화된 진단 분야에서 AI-VR의 향후 기술적 및 임상적 발전은 어떠한 방향으로 전개될 수 있는가?

주요 결과

• 시각화 향상, VR 관련 의료 데이터 처리, VR 보조 치료의 제안된 분류 체계는 의료 분야에서 AI-VR 응용 프로그램을 이해하기 위한 체계적인 프레임워크를 제공한다.
• 생성 모델과 신경 은닉 함수는 제한된 의료 영상 데이터로부터 해부학적 구조를 고해상도로 재구성할 수 있어 VR 시각화 품질을 향상시킨다.
• VQA 및 VQLA 시스템은 실시간 수술 환경에서 복잡한 질문에 답하고 답변을 국소화함으로써 수술 환경 이해도를 크게 향상시킨다.
• 장면 그래프 모델링은 도구, 해부학적 구조 및 상호작용을 포괄하는 의미적으로 rich한 인간이 이해할 수 있는 수술 환경 표현을 제공하여 절차 분석을 향상시킨다.
• 4D-OR 및 MVOR와 같은 공개 데이터셋은 수술 단계 인식, 운동 분석 및 의미적 장면 이해를 위한 AI 모델 학습에 필수적이다.
• 진전이 있었음에도 불구하고, 데이터 부족, 윤리적 준수, 시스템 투명성 및 사용자 신뢰 문제 등 임상 적용을 저해하는 주요 장벽이 그대로 남아 있다.