[論文レビュー] Can We Revitalize Interventional Healthcare with AI-XR Surgical Metaverses?

Adnan Qayyum, Muhammad Bilal+6 more|arXiv (Cornell University)|Mar 25, 2023

Artificial Intelligence in Healthcare and EducationMedicine被引用数 3

ひとこと要約

本論文は、介入外科学における術前計画を目的とした没入型でAI駆動の仮想環境（AI-XR外科メタバース）を提案し、仮想患者モデルにおける切開部の局所化をわずかに操作する対人攻撃が、安全でない手術計画を引き起こす可能性があることを示している。主な貢献は、AI-XR外科メタバースにおける深刻なセキュリティ上の脆弱性を暴露し、臨床応用の前に耐障害性があり安全なシステムの開発が急務であることを訴えている。

ABSTRACT

Recent advancements in technology, particularly in machine learning (ML), deep learning (DL), and the metaverse, offer great potential for revolutionizing surgical science. The combination of artificial intelligence and extended reality (AI-XR) technologies has the potential to create a surgical metaverse, a virtual environment where surgeries can be planned and performed. This paper aims to provide insight into the various potential applications of an AI-XR surgical metaverse and the challenges that must be addressed to bring its full potential to fruition. It is important for the community to focus on these challenges to fully realize the potential of the AI-XR surgical metaverses. Furthermore, to emphasize the need for secure and robust AI-XR surgical metaverses and to demonstrate the real-world implications of security threats to the AI-XR surgical metaverses, we present a case study in which the ``an immersive surgical attack'' on incision point localization is performed in the context of preoperative planning in a surgical metaverse.

研究の動機と目的

• AIおよび拡張現実（XR）が介入医療における外科メタバースをどのように変革するかを調査すること。
• 特に術前計画におけるAI-XR外科メタバースに内在する深刻なセキュリティ上の脆弱性を特定・分析すること。
• 仮想外科環境において切開部の局所化を操作する対人攻撃の実現可能性を実証すること。
• 命を脅かす誤りを防ぐために、AI-XR外科メタバースにおける安全で耐障害性のある設計の緊急性を強調すること。
• 次世代開発をガイドするため、没入型外科技術におけるイノベーションと患者安全のバランスを浮き彫りにすること。

提案手法

• Unity 3DとC#を用いて、3D患者モデルおよび外科用器具を備えた手術シミュレーションを実施する仮想手術環境を構築した。
• 患者のデジタルツインを活用し、ミックスドリアリティ環境下で術前シミュレーションおよび切開部の検証を可能にした。
• 切開選択時に患者のデジタルツインにわずかで検出不能な動きを加えることで、人間の専門家が気づかないような微細な対人攻撃を実装した。
• Oculus Quest 2のVRヘッドセットを用いて、仮想手術メタバースとのリアルタイムインタラクションをシミュレートし、攻撃の影響を検証した。
• 最適な切開部（例：第3・第4肋間、第4・第5肋間、第5・第6肋間）をマッピングし、攻撃下で誤った位置（例：第5・第6肋間、第7・第8肋間）にずらされた位置を追跡した。
• 仮想環境内での器具のアクセス性、可視化、手術の実行可能性に与える影響を評価した。

Figure 1: Illustration of various potential applications that will be featured in the AI-XR surgical metaverse.

実験結果

リサーチクエスチョン

• RQ1 AI-XR外科メタバースは、介入外科学における術前計画を効果的に向上させることができるか？
• RQ2 対人攻撃は、没入型外科シミュレーションにおいてどのようにして切開部の局所化をわずかに操作できるか？
• RQ3 仮想術前計画における検出不能な操作が、患者の安全に及ぼす現実世界への影響は何か？
• RQ4 AI-XR外科メタバースの信頼性と整合性を保証するためのセキュリティ対策は何か？
• RQ5 臨床的有用性を維持しつつ、AI-XR外科メタバースを対人攻撃に対して耐性のあるものにするにはどうすればよいか？

主な発見

• 検出不能な対人攻撃により、最適な切開部が仮想環境内で第3・第4肋間、第4・第5肋間、第5・第6肋間から第3・第4肋間、第5・第6肋間、第7・第8肋間にずれた。
• 攻撃により、器具のアクセスが遮害され、視認性が損なわれるなど、深刻な手術計画上のリスクが生じた。
• 切開部の操作が検出されなければ、開胸術を要する逆転不能な外科的合併症を引き起こす可能性がある。
• 攻撃は、ユーザーが切開部を選択する際、デジタルツインの位置をわずかに変更することで実行され、人間の専門家にとって検出不可能であった。
• 本研究は、現在のAI-XR外科メタバースが対人操作に対して脆弱であることを示しており、患者の安全を脅かしている。
• 研究結果は、臨床応用の前にAI-XR外科メタバースに耐障害性のあるセキュリティメカニズムを導入する緊急性を強調している。

Figure 2: Illustration of an attack on incision points localization for minimally invasive mitral valve repair (MIMVr) surgery.