[논문 리뷰] i3PosNet: Instrument Pose Estimation from X-Ray.

David Kügler, Andrei Stefanov외 1명|arXiv (Cornell University)|2018. 02. 26.

Dental Radiography and Imaging참고 문헌 1인용 수 5

한 줄 요약

i3PosNet는 기하학적 제약 조건을 활용하여 단일 x-ray 영상에서 외과 기구 자세를 추정하는 딥러닝 기반의 패치 기반 방법으로, 0.031 mm ± 0.025 mm의 평면 내 위치 오차와 0.031° ± 1.126°의 각도 오차를 기록하며, 미세 외과 수술 환경에서 전통적인 영상 정렬 기법보다 5배 이상 뛰어난 정확도를 보이며, 보다 정밀한 자세 추정을 가능하게 한다.

ABSTRACT

Performing delicate Minimally Invasive Surgeries (MIS) forces surgeons to accurately assess the position and orientation (pose) of surgical instruments. In current practice, this pose information is provided by conventional tracking systems (optical and electro-magnetic). Two challenges render these systems inadequate for minimally invasive bone surgery: the need for instrument positioning with high precision and occluding tissue blocking the line of sight. Fluoroscopic tracking is limited by the radiation exposure to patient and surgeon. A possible solution is constraining the acquisition of x-ray images. The distinct acquisitions at irregular intervals require a pose estimation solution instead of a tracking technique. We develop i3PosNet (Iterative Image Instrument Pose estimation Network), a patch-based modular Deep Learning method enhanced by geometric considerations, which estimates the pose of surgical instruments from single x-rays. For the evaluation of i3PosNet, we consider the scenario of drilling in the otobasis. i3PosNet generalizes well to different instruments, which we show by applying it to a screw, a drill and a robot. i3PosNet consistently estimates the pose of surgical instruments better than conventional image registration techniques by a factor of 5 and more achieving in-plane position errors of 0.031 mm +- 0.025 mm and angle errors of 0.031 +- 1.126. Additional factors, such as depth are evaluated to 0.361 mm +- 8.98 mm from single radiographs.

연구 동기 및 목표

• 최소 침습성 뼈 수술에서 선형 시야 차단과 fluoroscopy로 인한 방사선 노출 문제로 인해 기존 추적 시스템의 한계를 해결하기 위해.
• 지속적인 방사선 노출을 피하면서도 단일이고 비정규적인 x-ray 영상으로도 신뢰할 수 있는 자세 추정이 가능한 방법을 개발하기 위해.
• 광학적 또는 전자기적 추적 시스템에 의존하지 않고 정확한 기구 자세 추정을 가능하게 하기 위해.
• 어려운 수술 환경에서 드릴, 나사, 로봇 도구 등 다양한 기구에 대해 일반화할 수 있도록 하기 위해.
• 깊이 및 각도 추정 오차를 줄이기 위해 기하학적 사전 지식을 통합한 딥러닝 기반의 높은 정밀도 자세 추정을 달성하기 위해.

제안 방법

• i3PosNet는 단일 x-ray 영상에서 국소 이미지 특징을 추출하기 위해 패치 기반의 컨volutional 신경망 아키텍처를 사용한다.
• 자세 추정 정확도와 일반화 능력을 향상시키기 위해 기하학적 제약 조건을 딥러닝 프레임워크에 통합한다.
• 반복적 정밀 조정을 통해 단일 레이저 영상에서 외과 기구의 3차원 자세(위치 및 방향)를 추정한다.
• 합성 및 실제 x-ray 데이터를 기반으로 엔드 투 엔드로 학습하여 기구 유형에 맞는 외관 및 공간 관계를 학습한다.
• 다른 기구에 대한 적응이 가능하도록 재학습 없이도 적용 가능한 모듈식 설계를 통해 자세 추정을 수행한다.
• 예측의 정규화와 깊이 및 각도 추정 오차 감소를 위해 기하학적 사전 지식을 활용한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 지속적인 fluoroscopy를 피하면서도 단일 x-ray 영상에서 외과 기구 자세를 고정밀도로 추정할 수 있는가?
• RQ2 i3PosNet는 기존의 영상 정렬 기법과 비교하여 자세 추정 오차 측면에서 어떻게 성능을 발휘하는가?
• RQ3 i3PosNet는 드릴, 나사, 로봇 등 다양한 유형의 외과 기구에 대해 얼마나 잘 일반화되는가?
• RQ4 i3PosNet를 사용하여 단일 영상에서의 깊이 추정 정확도는 어느 정도인가?
• RQ5 기하학적 제약 조건은 저조도 또는 가림이 발생하는 수술 환경에서 자세 추정의 정확성과 안정성을 어떻게 향상시키는가?

주요 결과

• i3PosNet는 평면 내 위치 오차가 0.031 mm ± 0.025 mm로, 기존 영상 정렬 기법보다 5배 이상 뛰어나다.
• 각도 오차는 0.031° ± 1.126°로, 기구 방향 추정에서 매우 높은 각도 정밀도를 보인다.
• 단일 영상에서의 깊이 추정 정확도는 0.361 mm ± 8.98 mm로, 2차원 투영의 본질적 모호성에도 불구하고 합리적인 정확도를 확보하였다.
• 모델은 재학습 없이도 드릴, 나사, 로봇 등 다양한 기구에 대해 잘 일반화되어 있다.
• 기하학적 제약 조건의 통합으로 인해, 특히 저조도 또는 가림이 발생하는 수술 환경에서 성능과 안정성이 향상되었다.
• 불규칙한 x-ray 촬영 간격에 대해서도 강건성을 보이며, 제한된 영상 촬영이 가능한 임상 워크플로우에 적합하다.