[논문 리뷰] A Distributed Augmented Reality System for Medical Training and Simulation

Felix G. Hamza-Lup, Jannick P. Rolland외 1명|arXiv (Cornell University)|2018. 11. 29.

Augmented Reality Applications참고 문헌 36인용 수 25

한 줄 요약

이 논문은 3차원 해부학적 모델과 변형 가능한 해부학적 구조를 사용하여 실시간으로 협업형 기관절개 삽입 시뮬레이션을 가능하게 하는 분산형 증강현실(AR) 시스템을 제시한다. 이 시스템은 원격 사용자 간 공유 상태를 유지하기 위해 적응형 동기화 알고리즘(ASA)을 활용하여 지연 시간의 영향을 줄이고 분산 의료 교육 환경에서의 존재감과 상호작용을 향상시킨다.

ABSTRACT

Augmented Reality (AR) systems describe the class of systems that use computers to overlay virtual information on the real world. AR environments allow the development of promising tools in several application domains. In medical training and simulation the learning potential of AR is significantly amplified by the capability of the system to present 3D medical models in real-time at remote locations. Furthermore the simulation applicability is broadened by the use of real-time deformable medical models. This work presents a distributed medical training prototype designed to train medical practitioners' hand-eye coordination when performing endotracheal intubations. The system we present accomplishes this task with the help of AR paradigms. An extension of this prototype to medical simulations by employing deformable medical models is possible. The shared state maintenance of the collaborative AR environment is assured through a novel adaptive synchronization algorithm (ASA) that increases the sense of presence among participants and facilitates their interactivity in spite of infrastructure delays. The system will allow paramedics, pre-hospital personnel, and students to practice their skills without touching a real patient and will provide them with the visual feedback they could not otherwise obtain. Such a distributed AR training tool has the potential to: allow an instructor to simultaneously train local and remotely located students and, allow students to actually "see" the internal anatomy and therefore better understand their actions on a human patient simulator (HPS).

연구 동기 및 목표

• 기구절개 삽입에 대해 원격에 있는 의료 종사자 및 학생들이 실시간으로 협업하여 훈련할 수 있도록 하는 분산형 AR 시스템을 개발하는 것.
• 실시간 3차원 해부학적 모델과 변형 가능한 해부학적 해부를 AR 환경에 통합하여 훈련의 현실감을 향상시키는 것.
• 협업형 AR 의료 시뮬레이션에서 네트워크 지연 및 동기화 과제를 해결하기 위해 새로운 적응형 동기화 알고리즘(ASA)을 도입하는 것.
• 강사가 현장 및 원격 학생들을 동시에 훈련시킬 수 있도록 내부 해부학적 구조의 공유 시각 피드백을 제공하는 것.
• 실제 환자와의 접촉 없이 몰입감 있고 상호작용이 높으며 존재감을 증진시키는 훈련을 제공하는 것.

제안 방법

• 시스템은 증강현실을 사용하여 3차원 해부학적 모델—특히 변형 가능한 해부학적 구조—를 인간 환자 시뮬레이터(HPS)의 실제 세계 시각에 겹쳐 놓는다.
• 네트워크 지연에도 불구하고 분산된 참가자 간 일관된 공유 상태를 유지하기 위해 새로운 적응형 동기화 알고리즘(ASA)을 구현한다.
• ASA는 네트워크 상태와 사용자 상호작용 패턴에 따라 동기화 빈도를 동적으로 조정하여 반응성과 일관성을 최적화한다.
• AR 인터페이스는 내부 해부학적 구조의 실시간 시각 피드백을 제공하여 기관절개 절차 중 행동의 영향을 '보여준다'.
• 시스템은 지리적으로 분산된 위치에 있는 참가자들 간에 동기화된 훈련 세션을 가능하게 하기 위해 현장 및 원격 사용자를 모두 지원한다.
• 분산 컴퓨팅 모델을 기반으로 한 아키텍처는 의료 시뮬레이션에서 저지연, 고정밀 협업을 지원하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 어떻게 분산형 AR 시스템이 기관절개 삽입에 대한 실시간 협업 의료 훈련을 효과적으로 지원할 수 있는가?
• RQ2 다중 사용자 AR 의료 시뮬레이션에서 지연 시간의 영향을 최소화하고 인지적 일관성을 유지하기 위한 동기화 전략은 무엇인가?
• RQ3 변형 가능한 3차원 해부학적 모델의 사용이 AR 기반 의료 훈련의 현실감과 학습 성과에 얼마나 기여하는가?
• RQ4 원격 및 현장 훈련생들이 공유된 AR 시뮬레이션 환경에서 동일한 수준의 몰입감과 상호작용을 달성할 수 있는가?
• RQ5 적응형 동기화 알고리즘(ASA)은 분산형 AR 의료 훈련에서 존재감과 협업을 어떻게 향상시키는가?

주요 결과

• 적응형 동기화 알고리즘(ASA)은 변동하는 네트워크 조건에서도 인지적 이탈을 효과적으로 줄이고 공유 AR 상태의 일관성을 향상시켰다.
• 시스템은 시뮬레이션된 기관절개 과정 중 내부 해부학적 구조의 실시간 시각화를 가능하게 하여 기존에는 부족했던 훈련생의 핵심 시각 피드백을 제공하였다.
• ASA가 제공하는 저지연 동기화 덕분에 원격 참가자들은 높은 존재감과 상호작용을 경험하였다.
• 변형 가능한 의료 모델의 통합은 시뮬레이션의 정밀도를 향상시키고 더 현실적인 훈련 시나리오를 지원하였다.
• 강사는 현장 및 원격 학생들을 동시에 효과적으로 훈련시킬 수 있었으며, 이는 의료 훈련 프로그램의 확장성과 접근성을 높였다.
• 이 시스템은 기관절개 삽입과 같이 고위험·저빈도 발생 수술에 대해 대규모 배포가 가능하다는 점을 입증하였다.