[논문 리뷰] Can We Revitalize Interventional Healthcare with AI-XR Surgical Metaverses?

Adnan Qayyum, Muhammad Bilal외 6명|arXiv (Cornell University)|2023. 03. 25.

Artificial Intelligence in Healthcare and EducationMedicine인용 수 3

한 줄 요약

이 논문은 외과적 수술 메타버스—입체적이고 인공지능 기반의 가상 환경—을 제안하며, 이는 외과적 수술의 사전 계획에 활용된다. 연구에서는 적대적 공격이 가상 환자 모델의 절단점 위치를 미세하게 조작할 수 있음을 입증하여, 안전하지 않은 수술 계획을 초래할 수 있음을 보여준다. 주요 기여는 AI-XR 외과적 메타버스에 존재하는 심각한 보안 취약점을 드러내며, 임상 적용 이전에 강력하고 안정적인 시스템 개발의 필요성을 촉구한다.

ABSTRACT

Recent advancements in technology, particularly in machine learning (ML), deep learning (DL), and the metaverse, offer great potential for revolutionizing surgical science. The combination of artificial intelligence and extended reality (AI-XR) technologies has the potential to create a surgical metaverse, a virtual environment where surgeries can be planned and performed. This paper aims to provide insight into the various potential applications of an AI-XR surgical metaverse and the challenges that must be addressed to bring its full potential to fruition. It is important for the community to focus on these challenges to fully realize the potential of the AI-XR surgical metaverses. Furthermore, to emphasize the need for secure and robust AI-XR surgical metaverses and to demonstrate the real-world implications of security threats to the AI-XR surgical metaverses, we present a case study in which the ``an immersive surgical attack'' on incision point localization is performed in the context of preoperative planning in a surgical metaverse.

연구 동기 및 목표

• AI와 확장현실(XR)이 외과적 수술 메타버스를 조성하는 데 있어 혁신적인 잠재력을 어떻게 실현할 수 있는지 탐구하기.
• 특히 사전 수술 계획 단계에서 AI-XR 외과적 메타버스에 존재하는 핵심 보안 취약점을 식별하고 분석하기.
• 가상 수술 환경에서 절단점 위치를 조작하는 적대적 공격의 실현 가능성을 입증하기.
• 수술 중 생명을 위협할 수 있는 실수를 방지하기 위해 AI-XR 외과적 메타버스에 강력하고 안정적인 설계가 긴급히 필요하다는 점을 강조하기.
• 향후 개발을 이끌기 위해 몰입형 수술 기술에서 혁신과 환자 안전의 균형을 어떻게 유지할 수 있는지 제시하기.

제안 방법

• Unity 3D와 C#를 사용하여 3D 환자 모델과 수술 기구를 포함한 가상 수술 환경을 구축하여 외과적 절차를 시뮬레이션하였다.
• 환자의 디지털 트윈을 활용하여 혼합현실 환경에서 사전 수술 시뮬레이션과 절단점 검증을 수행하였다.
• 사용자가 절단점을 선택하는 동안 환자의 디지털 트윈에 미세하고 감지되지 않는 움직임을 도입하여 인식 불가능한 적대적 공격을 구현하였다.
• Oculus Quest 2 VR 헤드셋을 사용하여 메타버스와의 실시간 상호작용을 시뮬레이션하고 공격 영향을 검증하였다.
• 최적의 절단점(예: 갈비 3-4, 4-5, 5-6)을 매핑하고, 공격 시 이들이 잘못된 위치(예: 5-6, 7-8)로 이격되는 것을 추적하였다.
• 가상 환경에서 도구 접근성, 시각화 및 수술 가능성에 미치는 조작된 절단점의 영향을 평가하였다.

Figure 1: Illustration of various potential applications that will be featured in the AI-XR surgical metaverse.

실험 결과

연구 질문

• RQ1 AI-XR 외과적 메타버스는 외과적 수술의 사전 계획을 효과적으로 향상시킬 수 있는가?
• RQ2 적대적 공격는 몰입형 수술 시뮬레이션에서 절단점 위치를 어떻게 미세하게 조작할 수 있는가?
• RQ3 가상 수술 계획에서 감지되지 않는 조작이 환자 안전에 실질적인 영향을 미칠 수 있는가?
• RQ4 AI-XR 외과적 메타버스의 신뢰성과 무결성을 확보하기 위해 어떤 보안 조치가 필요한가?
• RQ5 임상적 유용성을 유지하면서도 적대적 공격에 강건한 수술 메타버스는 어떻게 설계할 수 있는가?

주요 결과

• 감지되지 않는 적대적 공격가 최적의 절단점 위치를 갈비 3-4, 4-5, 5-6에서 3-4, 5-6, 7-8로 성공적으로 이동시켰다.
• 이 공격는 도구 접근성 저하 및 잘못된 절단으로 인한 시각화 손상으로 인해 심각한 수술 계획 위험을 초래하였다.
• 감지되지 않은 절단점 조작은 심장 수술이 필요한 등 돌이킬 수 없는 수술 합병증을 유발할 수 있다.
• 공격는 사용자가 절단점을 선택하는 동안 디지털 트윈의 위치를 미세하게 변경함으로써 수행되었으며, 인간 전문가에게도 감지되지 않았다.
• 이 연구는 현재의 AI-XR 외과적 메타버스가 적대적 조작에 취약하며, 환자 안전을 위협할 수 있음을 입증하였다.
• 연구 결과는 임상 적용 이전에 AI-XR 외과적 메타버스에 강력한 보안 메커니즘이 반드시 필요하다는 점을 강조한다.

Figure 2: Illustration of an attack on incision points localization for minimally invasive mitral valve repair (MIMVr) surgery.