[论文解读] Can We Revitalize Interventional Healthcare with AI-XR Surgical Metaverses?

Adnan Qayyum, Muhammad Bilal+6 more|arXiv (Cornell University)|Mar 25, 2023

Artificial Intelligence in Healthcare and EducationMedicine被引用 3

一句话总结

本文提出AI-XR外科元宇宙——一种沉浸式、由人工智能驱动的虚拟环境，用于介入手术的术前规划，表明对抗性攻击可微妙地操纵虚拟患者模型中的切口定位，导致不安全的手术计划。其主要贡献在于揭示了AI-XR外科元宇宙中的关键安全漏洞，呼吁在临床部署前开发出稳健且安全的系统。

ABSTRACT

Recent advancements in technology, particularly in machine learning (ML), deep learning (DL), and the metaverse, offer great potential for revolutionizing surgical science. The combination of artificial intelligence and extended reality (AI-XR) technologies has the potential to create a surgical metaverse, a virtual environment where surgeries can be planned and performed. This paper aims to provide insight into the various potential applications of an AI-XR surgical metaverse and the challenges that must be addressed to bring its full potential to fruition. It is important for the community to focus on these challenges to fully realize the potential of the AI-XR surgical metaverses. Furthermore, to emphasize the need for secure and robust AI-XR surgical metaverses and to demonstrate the real-world implications of security threats to the AI-XR surgical metaverses, we present a case study in which the ``an immersive surgical attack'' on incision point localization is performed in the context of preoperative planning in a surgical metaverse.

研究动机与目标

• 探究人工智能与扩展现实（XR）在创建介入医疗外科元宇宙方面的变革潜力。
• 识别并分析AI-XR外科元宇宙中的关键安全漏洞，特别是在术前规划方面。
• 展示对抗性攻击在虚拟手术环境中操纵切口定位的可行性。
• 强调迫切需要在AI-XR外科元宇宙中实现安全且稳健的设计，以防止危及生命的错误。
• 通过强调沉浸式手术技术中创新与患者安全之间的平衡，为未来开发提供指导。

提出的方法

• 使用Unity 3D和C#开发虚拟手术环境，以3D患者模型和手术器械模拟介入手术。
• 利用患者的数字孪生技术，在混合现实环境中实现术前模拟和切口定位验证。
• 通过在切口选择期间对患者数字孪生体引入微小、无法察觉的移动，实施不可察觉的对抗性攻击。
• 使用Oculus Quest 2 VR头显进行实验，以模拟与手术元宇宙的实时交互并验证攻击影响。
• 映射最佳切口位置（例如，第3-4根肋间、第4-5根肋间、第5-6根肋间），并追踪其在攻击下被错误地偏移至其他位置（例如，5-6、7-8）的情况。
• 评估被操纵的切口位置对工具可达性、可视化效果以及手术可行性的影响。

Figure 1: Illustration of various potential applications that will be featured in the AI-XR surgical metaverse.

实验结果

研究问题

• RQ1 AI-XR外科元宇宙能否有效提升介入手术的术前规划？
• RQ2 对抗性攻击如何在沉浸式手术模拟中微妙地操纵切口定位？
• RQ3 在虚拟手术规划中未被察觉的操纵对患者安全有何现实影响？
• RQ4 需要哪些安全措施以确保AI-XR外科元宇宙的可靠性和完整性？
• RQ5 如何使外科元宇宙在保持临床实用性的同时，具备抵御对抗性攻击的能力？

主要发现

• 不可察觉的对抗性攻击成功地将最佳切口位置从第3-4根、第4-5根、第5-6根肋间偏移至第3-4根、第5-6根、第7-8根肋间。
• 该攻击导致严重的手术规划风险，包括工具可达性受阻和因切口错位导致的可视化受损。
• 若未被察觉，切口位置的操纵可能导致不可逆的手术并发症，例如需进行开胸手术。
• 攻击通过在用户选择过程中微妙地改变数字孪生体的位置实现，对人类专家而言完全不可察觉。
• 本研究表明，当前的AI-XR外科元宇宙易受对抗性操纵影响，危及患者安全。
• 研究结果强调了在临床采用前，必须为AI-XR外科元宇宙建立稳健的安全机制。

Figure 2: Illustration of an attack on incision points localization for minimally invasive mitral valve repair (MIMVr) surgery.