[논문 리뷰] Augmented Reality for Depth Cues in Monocular Minimally Invasive Surgery

Long Chen, Wen Tang외 3명|arXiv (Cornell University)|2017. 03. 01.

Augmented Reality Applications참고 문헌 5인용 수 8

한 줄 요약

이 논문은 ORB-SLAM을 사용한 카메라 추적과 외곽선 필터링, 이동 최소 제곱법, 포isson 표면 재구성의 강력한 파이프라인을 조합하여 단안 내시경에서 실시간 3D 표면 재구성 및 증강현실 프레임워크를 제안한다. 카메라 궤적 추정에서 1.24 mm의 RMSE와 표면 재구성에서 4.32 mm의 RMSD를 달성하여 복잡한 내시경 수술에서 깊이 인식 향상을 위한 정확한 깊이 보정 증강현실 시각화를 가능하게 한다.

ABSTRACT

One of the major challenges in Minimally Invasive Surgery (MIS) such as laparoscopy is the lack of depth perception. In recent years, laparoscopic scene tracking and surface reconstruction has been a focus of investigation to provide rich additional information to aid the surgical process and compensate for the depth perception issue. However, robust 3D surface reconstruction and augmented reality with depth perception on the reconstructed scene are yet to be reported. This paper presents our work in this area. First, we adopt a state-of-the-art visual simultaneous localization and mapping (SLAM) framework - ORB-SLAM - and extend the algorithm for use in MIS scenes for reliable endoscopic camera tracking and salient point mapping. We then develop a robust global 3D surface reconstruction frame- work based on the sparse point clouds extracted from the SLAM framework. Our approach is to combine an outlier removal filter within a Moving Least Squares smoothing algorithm and then employ Poisson surface reconstruction to obtain smooth surfaces from the unstructured sparse point cloud. Our proposed method has been quantitatively evaluated compared with ground-truth camera trajectories and the organ model surface we used to render the synthetic simulation videos. In vivo laparoscopic videos used in the tests have demonstrated the robustness and accuracy of our proposed framework on both camera tracking and surface reconstruction, illustrating the potential of our algorithm for depth augmentation and depth-corrected augmented reality in MIS with monocular endoscopes.

연구 동기 및 목표

• 2D 내시경 영상으로 인한 깊이 인식 상실 문제로 인해 발생하는 단안 미세외과 수술의 핵심 과제를 해결하기 위해.
• 단안 내시경 영상에서 실시간으로 정확한 3D 장면 재구성을 가능하게 하여 깊이 보정을 위한 증강현실을 제공하기 위해.
• 조직 표면에 상대적으로 정확한 공간 위치에 3D 해부학적 모델을 겹쳐 놓을 수 있는 깊이 보정 증강현실 시스템을 개발하기 위해.
• 비용과 시야 한계 등의 문제로 인해 제한되는 스테레오 내시경의 한계를 극복하고, 시각적 SLAM을 활용해 전반적인 장면 이해를 가능하게 하기 위해.
• 임상적 관련성을 확보하기 위해 합성 시뮬레이션 영상과 실제 생체 내시경 데이터를 모두 활용해 프레임워크를 검증하기 위해.

제안 방법

• 내시경 장면에서의 급격한 운동, 밝기 변화, 연조직 변형 등의 도전 과제를 고려해 ORB-SLAM을 단안 미세외과 수술 환경에 적응시키기 위해 확장함.
• ORB-SLAM의 기능 추적 및 맵 포인트 추정 결과에서 희박한 3D 점군을 추출하여 장면 재구성에 활용함.
• 외곽선 제거 필터를 적용한 후 이동 최소 제곱법(Moving Least Squares, MLS)을 사용해 희박한 점군을 노이즈 제거 및 정규화함.
• 사전 처리된 점군에서 부드럽고 밀도가 높은 3D 표면을 생성하기 위해 포isson 표면 재구성 기법을 적용함.
• 정량적 평가를 위해 재구성된 표면을 기준 3D 모델과 정렬하기 위해 단순한 반복 최소 거리(Iterative Closest Point, ICP) 알고리즘을 사용함.
• 카메라 자세와 3D 표면 데이터를 통합하여 실시간 증강현실 시스템을 구축하고, 내시경 영상 스트림에 깊이 보정된 3D 주석 및 모델을 겹쳐 놓음.

실험 결과

연구 질문

• RQ1 어떤 도전적인 단안 내시경 환경에서도 신뢰할 수 있는 실시간 카메라 추적을 위해 ORB-SLAM이 효과적으로 적응 가능한가?
• RQ2 외곽선 필터링, MLS 스무딩, 포isson 재구성의 강력한 파이프라인을 통해 희박하고 노이즈가 많은 점군에서도 정확한 3D 표면을 재구성할 수 있는가?
• RQ3 기하학적 정확도 측면에서 재구성된 3D 표면이 기준 모델과 어느 정도 일치하는가?
• RQ4 재구성된 3D 표면과 카메라 자세를 활용해 깊이 보정 증강현실을 구현할 수 있는가? 이를 통해 단안 미세외과 수술에서 깊이 인식이 향상되는가?
• RQ5 합성 시뮬레이션 영상 대비 실제 생체 내시경 영상에서 이 프레임워크는 어떤 성능을 보이는가?

주요 결과

• 합성 시뮬레이션 영상에서 기준 카메라 궤적과 비교했을 때 ORB-SLAM 기반 카메라 추적의 평균 제곱근 오차(RMSE)는 1.24 mm를 기록함.
• 기준 3D 모델과 비교했을 때 3D 표면 재구성의 평균 제곱 오차(RMSD)는 4.32 mm로 나타나 강력한 기하학적 충실도를 보임.
• 시각적 비교 및 거리 맵를 통해 재구성된 3D 표면이 기준 모델과 밀도 있게 일치함을 확인하였으며, 대부분의 표면 거리가 -1.0 mm에서 4.0 mm 사이에 분포함.
• 실시간 깊이 보정 증강현실이 성공적으로 구현되었고, 가상의 3D 주석이 조직 표면에 대해 정확한 깊이 위치에 겹쳐져 있음.
• 실제 생체 내시경 영상 시퀀스에서도 높은 강인성과 정확도를 보였으며, 수술 중 적용 가능성에 대한 검증을 완료함.
• 전체 표면 재구성 파이프라인이 600 ms 이내에 완료되어 임상 현장 적용에 적합한 실시간 성능 확보함.