[论文解读] A Distributed Augmented Reality System for Medical Training and Simulation

Felix G. Hamza-Lup, Jannick P. Rolland+1 more|arXiv (Cornell University)|Nov 29, 2018

Augmented Reality Applications参考文献 36被引用 25

一句话总结

本文提出了一种用于医学训练的分布式增强现实（AR）系统，通过使用3D医学模型和可变形解剖结构，实现实时、协作式的气管插管模拟。该系统采用自适应同步算法（ASA）在远程用户之间保持一致的共享状态，减少延迟影响，并增强分布式医学训练环境中的沉浸感与交互性。

ABSTRACT

Augmented Reality (AR) systems describe the class of systems that use computers to overlay virtual information on the real world. AR environments allow the development of promising tools in several application domains. In medical training and simulation the learning potential of AR is significantly amplified by the capability of the system to present 3D medical models in real-time at remote locations. Furthermore the simulation applicability is broadened by the use of real-time deformable medical models. This work presents a distributed medical training prototype designed to train medical practitioners' hand-eye coordination when performing endotracheal intubations. The system we present accomplishes this task with the help of AR paradigms. An extension of this prototype to medical simulations by employing deformable medical models is possible. The shared state maintenance of the collaborative AR environment is assured through a novel adaptive synchronization algorithm (ASA) that increases the sense of presence among participants and facilitates their interactivity in spite of infrastructure delays. The system will allow paramedics, pre-hospital personnel, and students to practice their skills without touching a real patient and will provide them with the visual feedback they could not otherwise obtain. Such a distributed AR training tool has the potential to: allow an instructor to simultaneously train local and remotely located students and, allow students to actually "see" the internal anatomy and therefore better understand their actions on a human patient simulator (HPS).

研究动机与目标

• 开发一种分布式AR系统，使远程医学从业者和学生能够实时协作训练气管插管术。
• 通过在AR环境中集成实时3D医学模型和可变形解剖结构，提升训练的真实感。
• 通过一种新颖的自适应同步算法（ASA），解决协作式AR医学模拟中的网络延迟与同步挑战。
• 使教师能够同时为本地和远程学生提供共享内部解剖结构的视觉反馈进行培训。
• 提供沉浸式、交互式且增强沉浸感的训练体验，无需接触真实患者。

提出的方法

• 该系统利用增强现实技术，将3D医学模型——特别是可变形解剖结构——叠加到人体模拟器（HPS）的真实世界视图上。
• 实现了一种新颖的自适应同步算法（ASA），以在存在网络延迟的情况下，保持分布式参与者之间的一致共享状态。
• ASA根据网络状况和用户交互模式动态调整同步频率，以优化响应速度与一致性。
• AR界面提供内部解剖结构的实时视觉反馈，使受训者能够‘看到’其在插管操作中的实际影响。
• 系统支持本地与远程用户在共享虚拟环境中协作，实现在地理位置分散的地点之间的同步训练。
• 该架构基于分布式计算模型构建，以支持医学模拟中的低延迟、高保真协作。

实验结果

研究问题

• RQ1 如何有效支持分布式AR系统在气管插管术中的实时协作医学训练？
• RQ2 何种同步策略可最大限度减少延迟影响，并在多人AR医学模拟中保持感知一致性？
• RQ3 使用可变形3D解剖模型在多大程度上提升了AR医学训练的真实感与学习效果？
• RQ4 远程与本地受训者是否能在共享AR模拟环境中达到相似的沉浸感与交互性水平？
• RQ5 自适应同步算法（ASA）在多用户AR医学训练中如何提升沉浸感与协调性？

主要发现

• 自适应同步算法（ASA）成功减少了感知漂移，在各种网络条件下均提升了共享AR状态的一致性。
• 系统实现实时内部解剖结构可视化，使受训者在模拟插管过程中获得关键视觉反馈，否则这些反馈将无法获得。
• 由于ASA提供的低延迟同步，远程参与者体验到高度的沉浸感与交互性。
• 可变形医学模型的集成显著提升了模拟保真度，支持更真实的训练场景。
• 教师可有效同时培训本地与远程学生，提高了医学训练项目的可扩展性与可及性。
• 该系统在医学教育中具备大规模部署的可行性，尤其适用于高风险、低频次操作如气管插管术。