[논문 리뷰] Apple Vision Pro for Healthcare: "The Ultimate Display"? -- Entering the Wonderland of Precision Medicine

Jan Egger, Christina Gsaxner외 4명|arXiv (Cornell University)|2023. 01. 01.

Artificial Intelligence in Healthcare and Education인용 수 7

한 줄 요약

이 논문은 애플 비전 프로의 혼합현실(MR) 기능—가상현실(VR)과 증강현실(AR)을 융합한 기술—을 활용해 정밀의료 분야의 임상적 과제, 특히 수술 시 '집중 전환 문제'를 해결할 잠재력을 평가한다. 비전 프로의 고해상도 공간 디스플레이, 눈동자 추적 기술, 손을 쓰지 않는 인터랙션 방식이 의료진의 업무 부담을 줄이고 수술 내비게이션을 향상시키며 환자 간호를 위한 시간을 확보할 수 있을 것으로 가설화한다. 임상적 검증을 통해 그 유효성이 입증된다면 이는 의료 분야에서 전환적 도구로 자리매김할 것이다.

ABSTRACT

At the Worldwide Developers Conference (WWDC) in June 2023, Apple introduced the Vision Pro. The Vision Pro is a Mixed Reality (MR) headset, more specifically it is a Virtual Reality (VR) device with an additional Video See-Through (VST) capability. The VST capability turns the Vision Pro also into an Augmented Reality (AR) device. The AR feature is enabled by streaming the real world via cameras to the (VR) screens in front of the user's eyes. This is of course not unique and similar to other devices, like the Varjo XR-3. Nevertheless, the Vision Pro has some interesting features, like an inside-out screen that can show the headset wearers' eyes to "outsiders" or a button on the top, called "Digital Crown", that allows you to seamlessly blend digital content with your physical space by turning it. In addition, it is untethered, except for the cable to the battery, which makes the headset more agile, compared to the Varjo XR-3. This could actually come closer to the "Ultimate Display", which Ivan Sutherland had already sketched in 1965. Not available to the public yet, like the Ultimate Display, we want to take a look into the crystal ball in this perspective to see if it can overcome some clinical challenges that - especially - AR still faces in the medical domain, but also go beyond and discuss if the Vision Pro could support clinicians in essential tasks to spend more time with their patients.

연구 동기 및 목표

• 의료 AR 분야에서 지속적인 임상 과제인 빈약한 공간 정렬 및 사용자 집중 산산이 발생하는 문제를 해결할 수 있는가를 평가하기 위해.
• 비전 프로의 고도화된 기능—예를 들어 눈동자 추적, 디지털 크라운 인터랙션, 비디오 시스템 투과 기능—이 수술 내비게이션 및 의료진-환자 상호작용을 어떻게 향상시킬 수 있는지 탐색하기 위해.
• 수술자의 시야에 직접 디지털 환자 데이터를 통합함으로써 '집중 전환 문제'를 줄일 수 있는가를 조사하기 위해.
• 손을 쓰지 않는 기록 작업 및 AI 통합 인터페이스를 통해 임상 워크플로우를 어떻게 간소화할 수 있는지 평가하기 위해.

제안 방법

• 논문은 기존 AR/VR 기기인 마이크로소프트 헬로렌즈와 바르조 XR-3를 기준으로 하여 비전 프로의 하드웨어 및 인터랙션 디자인에 대해 개념적이고 비교적 분석을 수행한다.
• 비전 프로의 비디오 시스템 투과(VST) 기능을 평가하며, 이는 디지털 콘텐츠를 물리적 환경과 실시간으로 융합할 수 있도록 한다.
• 연구는 비전 프로의 내장형 눈동자 추적 및 디지털 크라운 인터페이스를 임상 환경에서 직관적이고 맥락 인식 가능한 상호작용 수단으로 분석한다.
• 비전 프로의 외부 케이블 없이 작동하는 설계 및 저지연 렲링 기술이 동적인 실시간 임상 응용 분야를 가능하게 한다고 분석한다.
• 저자들은 아이반 서더랜드의 '최종 디스플레이' 개념을 이론적 기준으로 삼아 비전 프로의 기술적 진보 수준을 평가한다.
• 특히 헬로렌즈 응용에 대한 체계적 리뷰를 포함한 이전 의료 분야의 AR/VR 연구 결과를 통합하여 비전 프로의 잠재력을 둘러싸는 맥락을 제공한다.

실험 결과

연구 질문

• RQ1 애플 비전 프로는 수술 중 환자에게 직접 디지털 영상 데이터를 오버레이함으로써 '집중 전환 문제'를 효과적으로 완화시킬 수 있는가?
• RQ2 비전 프로의 고유 기능—예를 들어 눈동자 추적 및 디지털 크라운—은 임상 환경에서 사용자 인터랙션과 공간 인식 능력을 어떻게 향상시키는가?
• RQ3 비전 프로는 손을 쓰지 않는 전자 건강 기록 접근 및 AI 기반 의사결정 지원 시스템을 통해 의료진의 행정 업무 부담을 어느 정도 줄일 수 있는가?
• RQ4 비전 프로의 MR 기능이 임상적으로 실현 가능한 환자 중심의 '지능형 헬스케어 메타버스' 개발을 뒷받침할 수 있는가?
• RQ5 일상적인 의료 현장에서 비전 프로를 도입하는 데 있어 핵심적인 기술적 및 임상적 장벽은 무엇이며, 현재의 기술 발전으로 이를 극복할 수 있는가?

주요 결과

• 애플 비전 프로는 수술 중 환자에게 정확한 공간 정렬을 통해 의료 영상 데이터를 직접 오버레이함으로써 '집중 전환 문제'를 줄일 잠재력을 보여준다.
• 고해상도, 저지연 디스플레이를 갖춘 비디오 시스템 투과(VST) 기능 덕분에 현재 많은 AR 헤드셋보다 더 안정적이고 정확한 AR 시각화가 가능하다.
• 눈동자 추적 및 디지털 크라운의 통합은 수술의사가 수동 입력 없이도 디지털 콘텐츠를 조작할 수 있는 새로운 직관적 인터페이스를 제공하여 워크플로우 효율성을 향상시킨다.
• 외부 케이블이 없는 비전 프로의 설계는 바르조 XR-3와 같은 터널링 시스템 대비 동적인 임상 환경에서의 이동성과 사용성 향상을 이룬다.
• 비전 프로는 아직 임상적 검증을 받지 못했지만, 그 기술적 특징이 정밀의료 발전과 의료진의 직무 만족도 저하 방지에 선도적인 후보로 부상할 수 있다.
• 논문은 비전 프로가 AI 기반 임상 의사결정 지원 시스템과 결합될 경우 의료 분야에서 AR 기술의 광범위한 도입을 이끄는 촉매제가 될 수 있다고 결론 내린다.