[논문 리뷰] SLAM based Quasi Dense Reconstruction For Minimally Invasive Surgery Scenes

Nader Mahmoud, Alexandre Hostettler외 4명|arXiv (Cornell University)|2017. 05. 25.

Robotics and Sensor-Based Localization참고 문헌 18인용 수 33

한 줄 요약

이 논문은 단안 내시경과 SLAM 기반 희소 매핑을 사용하여 최소 침습성 복강내시경 수술 환경를 위한 준밀도 3차원 재구성 방법을 제안한다. 최초 탐색 단계 동안 关건 프레임 쌍을 활용하고 상관 기반 특징 없는 패치 매칭을 적용하여, 계산 오버헤드를 최소화하면서도 희소 ORB-SLAM 지도를 밀도 높게 변환한다. 돼지 실험에서 CT 기준값에 등록했을 때 루트 평균 제곱 오차(RMSE)가 4.9mm를 기록하였다.

ABSTRACT

Recovering surgical scene structure in laparoscope surgery is crucial step for surgical guidance and augmented reality applications. In this paper, a quasi dense reconstruction algorithm of surgical scene is proposed. This is based on a state-of-the-art SLAM system, and is exploiting the initial exploration phase that is typically performed by the surgeon at the beginning of the surgery. We show how to convert the sparse SLAM map to a quasi dense scene reconstruction, using pairs of keyframe images and correlation-based featureless patch matching. We have validated the approach with a live porcine experiment using Computed Tomography as ground truth, yielding a Root Mean Squared Error of 4.9mm.

연구 동기 및 목표

• 외부 추적 장치나 인위적 마커 없이도 정확하고 실시간 3차원 환경 재구성을 가능하게 하기 위해.
• 특징 기반 SLAM 시스템의 한계를 극복하기 위해, 수술 조직에서 흔히 발생하는 무문자 또는 저대trast 영역에서 실패하는 문제를 해결하기 위해.
• 탐색 단계 이후에 희소 SLAM 지도를 밀도 높게 변환함으로써 단안 내시경을 유일한 입력 장치로 사용하여 준밀도 재구성을 달성하기 위해.
• 수술 전 CT/MRI와 수술 중 내시경 영상 간 정확한 다중 모odal 정렬을 지원하여 증강 현실 가이던스를 실현하기 위해.
• 밀도 높은 재구성을 후처리 단계로 이관함으로써 실시간 추적 성능을 유지하면서도 실시간 성능을 유지하기 위해.

제안 방법

• 의사가 최초 탐색 단계 동안 ORB-SLAM을 사용하여 희소 3차원 지도를 생성하며, 이 단계는 고정된 움직임이며 수술 기구 간섭이 없는 것으로 가정한다.
• 공시가 그래프에서 기준 거리(baseline)를 기반으로 관건 프레임 쌍을 선택하고, 이를 스테레오 쌍으로 간주하여 깊이 추정을 수행한다.
• 특징 기반 밀도 높은 재구성은 스테레오 쌍에서 삼각측량을 사용하여 일치하지 않는 ORB 특징을 식별하고 재구성한다.
• 깊이 전파에는 정규화된 상관관계(NCC)를 사용하여 관건 프레임 쌍 간의 특징 없는 패치를 매칭함으로써, 저문자 영역 및 균일한 영역에서도 깊이 추정을 가능하게 한다.
• 이상치 제거 및 표면 매끄러움 처리는 이동 최소 제곱(Moving Least Squares, MLS) 노이즈 제거와 RANSAC 기반 필터링을 통해 수행된다.
• 최종 준밀도 재구성 결과는 홉의 알고리즘을 사용하여 수술 전 CT에 정렬된 후, 정확도 평가를 위한 ICP 정 fine 조정을 수행한다.

실험 결과

연구 질문

• RQ1 단안 SLAM 시스템을 확장하여 수술용 증강 현실 응용에 적합한 준밀도 3차원 재구성을 가능하게 할 수 있는가?
• RQ2 부드러운 조직에서 흔히 발생하는 특징 없는 영역을 무문자 텍스처에 의존하지 않고 효과적으로 밀도 높게 재구성할 수 있는가?
• RQ3 SLAM 이후에 밀도 높은 재구성을 효율적으로 수행할 수 있으며, 실시간 추적 성능에 영향을 주지 않는가?
• RQ4 재구성된 내시경 환경을 수술 전 CT 데이터에 정렬할 때 도달할 수 있는 기하학적 정확도 수준은 어느 정도인가?
• RQ5 내시경 영상에서 흔히 발생하는 조명 변화와 반사광에 대해 이 방법은 얼마나 강인한가?

주요 결과

• 제안된 방법은 살아있는 돼지 실험에서 준밀도 재구성을 수술 전 CT 모델에 정렬했을 때 루트 평균 제곱 오차(RMSE)가 4.9mm를 기록하였다.
• 재구성된 점 중 85%가 CT 표면까지의 거리가 6.7mm 이하였으며, 이는 높은 기하학적 정밀도를 의미한다.
• 총 348,068개의 재구성된 점 중 15%가 이상치로 분류되었으며, 주로 숨소리로 인한 비강성 있는 복부 벽의 변형으로 인해 정확한 재투영이 어려웠기 때문이다.
• 오차가 6.7mm 이하인 점들을 내측점으로 임계값 설정한 후 RMSE는 2.8mm로 감소하여 대부분의 재구성 영역에서 높은 정밀도를 입증하였다.
• 실시간 운영 중 평균 추적 시간은 1프레임당 25ms를 유지하여, 밀도 높은 재구성을 후처리 단계로 이관함으로써 실시간 성능이 유지됨을 확인하였다.
• 정규화된 상관관계(NCC)의 사용은 심한 조명 변화 조건에서도 견고한 매칭을 가능하게 하여, 다른 특징 없는 매칭 방법에 비해 핵심적인 이점이 되었다.