[논문 리뷰] Real-time Geometry-Aware Augmented Reality in Minimally Invasive Surgery

Long Chen, Wen Tang외 1명|arXiv (Cornell University)|2017. 08. 03.

Robotics and Sensor-Based Localization참고 문헌 16인용 수 6

한 줄 요약

이 논문은 최소 침습 수술(MIS)에서 곡면 장기 표면에 정확하고 상호작용 가능한 주석, 종양 레이블, 측정값을 오버레이할 수 있는 실시간, 기하학적 인식 가능한 증강현실(AR) 프레임워크를 제시한다. 실시간 카메라 추적을 위한 강력한 특징 기반 SLAM과 제로 평균 정규화 상관관계(ZNCC)를 사용한 점진적 밀도 있는 스테레오 매칭을 조합함으로써, 사전 스캔 없이 수술 중에 세밀한 3D 메시를 재구성하며, 시뮬레이션에서 2.37 mm RMS 재구성 오차를 달성하여 연조직 표면에 정확한 AR 정렬을 가능하게 한다.

ABSTRACT

The potential of Augmented Reality (AR) technology to assist minimally invasive surgeries (MIS) lies in its computational performance and accuracy in dealing with challenging MIS scenes. Even with the latest hardware and software technologies, achieving both real-time and accurate augmented information overlay in MIS is still a formidable task. In this paper, we present a novel real-time AR framework for MIS that achieves interactive geometric aware augmented reality in endoscopic surgery with stereo views. Our framework tracks the movement of the endoscopic camera and simultaneously reconstructs a dense geometric mesh of the MIS scene. The movement of the camera is predicted by minimising the re-projection error to achieve a fast tracking performance, while the 3D mesh is incrementally built by a dense zero mean normalised cross correlation stereo matching method to improve the accuracy of the surface reconstruction. Our proposed system does not require any prior template or pre-operative scan and can infer the geometric information intra-operatively in real-time. With the geometric information available, our proposed AR framework is able to interactively add annotations, localisation of tumours and vessels, and measurement labelling with greater precision and accuracy compared with the state of the art approaches.

연구 동기 및 목표

• 최소 침습 수술(MIS) 중에 변형 가능한 연조직 곡면에 정확하고 실시간으로 AR 오버레이를 구현하는 데 도전하는 것.
• 기존의 2차원 특징 추적 및 희박한 SLAM 방법의 한계를 극복하여, 빠른 카메라 운동 상황에서 실패하고 평면이 아닌 표면에 AR 콘텐츠를 정확히 매핑하지 못하는 문제를 해결하는 것.
• 수술 전 스캔이나 외부 추적 장치에 의존하지 않고, 수술 중에 밀도 높은 수술 환경의 3D 기하학적 구조를 재구성하는 시스템을 개발하는 것.
• 해부학적 장기 곡률에 맞게 정확하고 상호작용 가능한 AR 주석, 레이블링, 측정을 가능하게 하는 것.
• 조명 변화, 조직 변형, 빠른 내 endoscope 이동과 같은 도전적인 MIS 조건에서도 AR 정렬 정확도와 내구성을 향상시키는 것.

제안 방법

• 희박한 특징점의 재투영 오차를 최소화함으로써 실시간으로 내 endoscope 카메라의 위치를 추적하기 위해 특징 기반 SLAM 기법을 사용한다.
• 제로 평균 정규화 상관관계(ZNCC)를 사용한 점진적 밀도 있는 스테레오 매칭을 활용하여 수술 환경의 세밀한 3D 기하 메시를 구축한다.
• 스테레오 영상 시퀀스로부터 점진적으로 3D 표면을 재구성함으로써, 사전 템플릿이나 사전 수술 스캔 없이도 실시간 기하학적 인식을 가능하게 한다.
• 클릭된 점에서의 표면 법선을 활용하여 재구성된 메시에 정확하게 방향을 조정하고 AR 레이블, 측정값, 주석을 부착한다.
• 표면 재구성 결과를 기준값과 정량적으로 비교하기 위해 격자 샘플링과 RMSD 기반 평가를 적용한다.
• 해당 연구는 Hamlyn Centre 데이터셋의 실생활 내 endoscopic 영상에서 시스템을 검증하여 실제 적용 가능성을 입증한다.

실험 결과

연구 질문

• RQ1 빠르게 움직이는 동적인 MIS 환경에서 실시간 AR 시스템이 내 endoscope의 정확하고 안정적인 추적을 수행할 수 있는가?
• RQ2 사전 수술 스캔이나 외부 추적 장치 없이도 수술 중에 밀도 높은 3D 표면 재구성을 수행할 수 있는가?
• RQ3 실시간 스테레오 시각과 기하학적 메시 재구성만으로도 곡면이면서 비평면적인 장기 표면에 정확하게 AR 주석과 측정값을 매핑할 수 있는가?
• RQ4 조명 변화, 조직 변형, 빠른 카메라 운동 상황에서 시스템의 성능은 어떠한가?
• RQ5 내 endoscopic 환경에서 ZNCC 기반 스테레오 매칭을 사용할 경우, 표면 재구성에서 달성할 수 있는 기하학적 정확도 수준은 어느 정도인가?

주요 결과

• 제안된 시스템은 시뮬레이션에서 기준값 3D 모델과 비교해 2.37 mm RMSD를 달성하여 높은 기하학적 충실도를 입증한다.
• 실생활 영상 시퀀스 검증을 통해 연조직 표면의 곡률에 맞게 정확하고 기하학적 인식 가능한 AR 오버레이(예: 레이블, 측정선)를 가능하게 한다.
• 스테레오 매칭을 통해 실시간으로 밀도 높은 3D 메시를 재구성함으로써, 영역 강조 및 측정과 같은 상호작용 가능한 AR 응용을 가능하게 한다.
• 특징 기반 SLAM과 ZNCC 스테레오 매칭의 활용 덕분에 조명 변화 및 조직 변형에 대해 뛰어난 내구성을 보인다.
• 사전 수술 스캔이나 외부 추적 장치가 없기 때문에 설치 시간이 단축되고 수술 워크플로우에 더 잘 통합될 수 있다.
• 결과적으로 기하학적 인식 AR은 평면 또는 2차원 기반 AR 방법에 비해 MIS에서 AR 가이던스의 정확도와 현실감을 크게 향상시킨다.