[论文解读] Apple Vision Pro for Healthcare: "The Ultimate Display"? -- Entering the Wonderland of Precision Medicine

Jan Egger, Christina Gsaxner+4 more|arXiv (Cornell University)|Jan 1, 2023

Artificial Intelligence in Healthcare and Education被引用 7

一句话总结

本文评估了苹果Vision Pro在利用混合现实（MR）技术——结合虚拟现实（VR）与增强现实（AR）——应对外科手术中‘注意力切换问题’等临床挑战方面，推动精准医疗变革的潜力。研究假设，Vision Pro的高保真空间显示、眼动追踪及免提交互功能可减轻临床工作者负担，提升手术导航能力，并为患者照护释放更多时间，若临床验证证实其有效性，该设备有望成为医疗领域的一项变革性工具。

ABSTRACT

At the Worldwide Developers Conference (WWDC) in June 2023, Apple introduced the Vision Pro. The Vision Pro is a Mixed Reality (MR) headset, more specifically it is a Virtual Reality (VR) device with an additional Video See-Through (VST) capability. The VST capability turns the Vision Pro also into an Augmented Reality (AR) device. The AR feature is enabled by streaming the real world via cameras to the (VR) screens in front of the user's eyes. This is of course not unique and similar to other devices, like the Varjo XR-3. Nevertheless, the Vision Pro has some interesting features, like an inside-out screen that can show the headset wearers' eyes to "outsiders" or a button on the top, called "Digital Crown", that allows you to seamlessly blend digital content with your physical space by turning it. In addition, it is untethered, except for the cable to the battery, which makes the headset more agile, compared to the Varjo XR-3. This could actually come closer to the "Ultimate Display", which Ivan Sutherland had already sketched in 1965. Not available to the public yet, like the Ultimate Display, we want to take a look into the crystal ball in this perspective to see if it can overcome some clinical challenges that - especially - AR still faces in the medical domain, but also go beyond and discuss if the Vision Pro could support clinicians in essential tasks to spend more time with their patients.

研究动机与目标

• 评估苹果Vision Pro是否能够克服医疗AR中持续存在的临床挑战，例如空间注册不良与用户分心问题。
• 探讨Vision Pro的先进功能（如眼动追踪、数字冠交互与视频透视）如何提升手术导航与临床工作者-患者互动。
• 调查该设备是否可通过将数字患者数据直接整合至外科医生视野，缓解‘注意力切换问题’。
• 评估Vision Pro通过免提病历记录与AI集成界面，是否能优化临床工作流程。

提出的方法

• 本文对Vision Pro与现有AR/VR系统（如微软HoloLens与Varjo XR-3）进行概念性与比较性分析，重点聚焦硬件设计与交互方式。
• 评估Vision Pro的视频透视（VST）功能，该功能可实现实时混合数字内容与物理环境。
• 研究设备的内置眼动追踪与数字冠交互界面，作为临床环境中直观、上下文感知交互的工具。
• 分析设备的无缆设计与低延迟渲染，作为支持动态、实时临床应用的推动因素。
• 以伊万·苏德伯格（Ivan Sutherland）的“终极显示器”概念作为理论基准，评估Vision Pro的技术进步水平。
• 结合既往医学AR/VR研究的洞见，特别是关于HoloLens应用的系统性综述，以定位Vision Pro的潜力。

实验结果

研究问题

• RQ1 苹果Vision Pro能否通过将数字医学影像数据直接叠加至患者身上，有效缓解外科手术中的‘注意力切换问题’？
• RQ2 Vision Pro的独有功能（如眼动追踪与数字冠）在临床环境中如何增强用户交互与空间感知能力？
• RQ3 Vision Pro在多大程度上可通过实现免提访问电子健康记录与AI辅助决策支持，减轻临床工作者的行政负担？
• RQ4 Vision Pro的MR能力是否能支持构建临床可行、以患者为中心的‘智能医疗元宇宙’？
• RQ5 在常规医疗实践中采用Vision Pro的关键技术与临床障碍是什么？当前技术进展能否克服这些障碍？

主要发现

• 苹果Vision Pro展现出显著潜力，可通过在手术过程中直接、空间对齐地将医学影像数据叠加至患者身上，有效缓解‘注意力切换问题’。
• 其高分辨率、低延迟显示的视频透视（VST）功能，使AR可视化效果比多数现有AR头戴设备更稳定、更精确。
• 眼动追踪与数字冠的整合，为临床工作者提供了新颖且直观的交互方式，无需手动操作即可操控数字内容，从而提升工作流程效率。
• 设备的无缆设计相较于如Varjo XR-3等有线系统，在动态临床环境中显著提升了移动性与可用性。
• 尽管Vision Pro尚未经过临床验证，但其技术特性使其成为推动精准医疗发展与减轻临床工作者职业倦怠的领先候选设备。
• 本文结论认为，Vision Pro可能成为推动医疗领域更广泛应用AR的催化剂，特别是当其与AI驱动的临床决策支持系统结合时。