[논문 리뷰] On-the-fly Augmented Reality for Orthopaedic Surgery Using a Multi-Modal Fiducial

Sebastian Andreß, Alex Johnson외 7명|arXiv (Cornell University)|2018. 01. 04.

Augmented Reality Applications참고 문헌 15인용 수 15

한 줄 요약

이 논문은 정형외과 수술을 위한 실시간 보조현실(AR) 시스템을 제안하며, 다중 모odal 피드유얼 마커를 사용해 C-아크 fluoroscopy 시스템과 광학 투과형 HMD를 동시에 캘리브레이션한다. HMD의 SLAM을 활용하고 피드유얼 기반 캘리브레이션을 통해 시스템은 실시간으로 2D X-ray annotation을 3D 가상 가이던스 신호로 렌더링하여 방사선 노출과 수술 시간을 줄이고, 기존의 영상 유도 기법과 비교해 유사한 정확도를 달성한다.

ABSTRACT

Fluoroscopic X-ray guidance is a cornerstone for percutaneous orthopaedic surgical procedures. However, two-dimensional observations of the three-dimensional anatomy suffer from the effects of projective simplification. Consequently, many X-ray images from various orientations need to be acquired for the surgeon to accurately assess the spatial relations between the patient's anatomy and the surgical tools. In this paper, we present an on-the-fly surgical support system that provides guidance using augmented reality and can be used in quasi-unprepared operating rooms. The proposed system builds upon a multi-modality marker and simultaneous localization and mapping technique to co-calibrate an optical see-through head mounted display to a C-arm fluoroscopy system. Then, annotations on the 2D X-ray images can be rendered as virtual objects in 3D providing surgical guidance. We quantitatively evaluate the components of the proposed system, and finally, design a feasibility study on a semi-anthropomorphic phantom. The accuracy of our system was comparable to the traditional image-guided technique while substantially reducing the number of acquired X-ray images as well as procedure time. Our promising results encourage further research on the interaction between virtual and real objects, that we believe will directly benefit the proposed method. Further, we would like to explore the capabilities of our on-the-fly augmented reality support system in a larger study directed towards common orthopaedic interventions.

연구 동기 및 목표

• 경피적 정형외과 수술에서 깊이 인식이 어려워지고 반복적인 영상 촬영으로 방사선 노출이 증가하는 2D 프루오로스코피 영상의 한계를 해결하기 위해.
• 수술 전 영상 촬영이나 복잡한 캘리브레이션 없이도 사전 준비되지 않은 수술실 환경에서 사용 가능한 저설정, 실시간 AR 가이던스 시스템을 개발하기 위해.
• HMD를 통해 영상 유도 가이던스 신호(예: 선과 점)를 실시간으로 프루오로스코피 X-ray 영상에 직접 오버랩하여 3D로 시각화하기 위해.
• 필요한 X-ray 촬영 횟수와 총 수술 시간을 줄이되, 기존 영상 유도 기법과 유사한 정확도를 유지하기 위해.
• HMD의 RGB 카메라와 다중 모달 피드유얼 마커만을 사용해 C-arm 통합 없이도 비준비된 환경에서 구동 가능한 AR 가이던스의 가능성을 탐색하기 위해.

제안 방법

• 다중 모달 피드유얼 마커는 ARToolKit 마커와 방사선 투과성 금속 구를 결합하여 동시에 광학적 및 X-ray 추적을 가능하게 한다.
• 시스템은 HMD의 RGB 카메라에서 얻은 SLAM(Simultaneous Localization and Mapping)을 사용해 장치의 세계 좌표 프레임 내에서의 자세를 추정한다.
• HMD의 자세를 활용해 피드유얼의 광학 및 X-ray 시각을 정렬하는 캘리브레이션 파이프라인을 통해 C-arm 프루오로스코피 시스템과의 동시 캘리브레이션을 수행한다.
• 캘리브레이션 완료 후, X-ray 영상에 있는 2D annotation(예: 점과 선)가 3D 공간으로 투영되어 HMD 뷰에 가상 객체로 렌더링된다.
• 시스템은 HMD의 깊이 정보 및 안구 간격 설정을 활용해 시각적 정렬을 향상시키지만, 초점 거리 제한으로 인해 깊이 인식이 떨어진다.
• 정확도와 워크플로우 효율성을 평가하기 위해 반인간형 피험체에서 가능성을 시험하였다.

실험 결과

연구 질문

• RQ1 수술 전 영상 없이도 C-아크 프루오로스코피 시스템과 광학 투과형 HMD 간의 정확한 실시간 동시 캘리브레이션을 다중 모달 피드유얼로 가능하게 할 수 있는가?
• RQ2 기존의 프루오로스코피와 비교해 이 AR 시스템이 필요한 X-ray 촬영 횟수와 총 수술 시간을 얼마나 줄일 수 있는가?
• RQ3 피험체 연구에서 이 시스템의 3D 가이던스 정확도는 기존 영상 유도 기법과 비교해 어떻게 되는가?
• RQ4 현재 AR 하드웨어의 한계, 특히 깊이 인식과 실제 물체 및 가상 물체 간 상호작용 측면에서 수술 가이던스 적용에 있어 어떤 문제가 있는가?
• RQ5 C-arm 통합 없이도 HMD의 카메라와 물리적 피드유얼 마커만으로도 준비되지 않은 수술실에서 시스템이 작동할 수 있는가?

주요 결과

• 기존 영상 유도 기법과 유사한 정확도를 달성했으며, 목표 위치 오차에 유의미한 차이가 없었다.
• 필요한 X-ray 촬영 횟수가 크게 줄었는데, 이는 AR의 3D 가이던스로 인해 다수의 2D 투영이 필요 없어졌기 때문이다.
• 도구 위치 특정이 빨라지고 영상 촬영 횟수가 줄어들어 수술 시간이 감소했지만, 정확한 시간 절감량은 절대적 수치로는 기록되지 않았다.
• HMD의 고정된 초점 거리(약 2m)와 조절 기능 부족으로 인해 깊이 인식이 떨어졌으며, 특히 경험이 적은 사용자에게는 정렬 성능에 영향을 주었다.
• 반인간형 피험체 연구에서 시스템의 가능성이 입증되었으며, 최소 침습적 정형외과 수술의 임상적 적용 가능성을 시사한다.
• 알 수 없는 또는 동적 환경 조건에서 SLAM의 신뢰성이 떨어지는 현상이 관찰되었지만, 핵심 가이던스 기능은 여전히 견고하였다.