[논문 리뷰] Localizing dexterous surgical tools in X-ray for image-based navigation

Cong Gao, Mathias Unberath외 2명|arXiv (Cornell University)|2019. 01. 20.

Soft Robotics and Applications참고 문헌 11인용 수 14

한 줄 요약

이 논문은 물리기반 DeepDRR 렲영으로 생성된 합성 데이터를 훈련 데이터로 사용하여 X-ray 영상에서 유연한 수술 기구를 동시에 세분화하고 국소화하기 위한 딥러닝 접근법을 제안한다. 이 방법은 합성 데이터에서 높은 정확도를 달성하며(세분화의 덱스 점수 0.996), 지표점 검출에서도 정확도가 높아(오차 0.365 mm), 영상유도 수술에서 2D/3D 영상 기반 정렬의 견고한 초기화를 가능하게 한다.

ABSTRACT

X-ray image based surgical tool navigation is fast and supplies accurate images of deep seated structures. Typically, recovering the 6 DOF rigid pose and deformation of tools with respect to the X-ray camera can be accurately achieved through intensity-based 2D/3D registration of 3D images or models to 2D X-rays. However, the capture range of image-based 2D/3D registration is inconveniently small suggesting that automatic and robust initialization strategies are of critical importance. This manuscript describes a first step towards leveraging semantic information of the imaged object to initialize 2D/3D registration within the capture range of image-based registration by performing concurrent segmentation and localization of dexterous surgical tools in X-ray images. We presented a learning-based strategy to simultaneously localize and segment dexterous surgical tools in X-ray images and demonstrate promising performance on synthetic and ex vivo data. We currently investigate methods to use semantic information extracted by the proposed network to reliably and robustly initialize image-based 2D/3D registration. While image-based 2D/3D registration has been an obvious focus of the CAI community, robust initialization thereof (albeit critical) has largely been neglected. This manuscript discusses learning-based retrieval of semantic information on imaged-objects as a stepping stone for such initialization and may therefore be of interest to the IPCAI community. Since results are still preliminary and only focus on localization, we target the Long Abstract category.

연구 동기 및 목표

• 유연한 수술 기구의 X-ray Fluoroscopy에서 2D/3D 영상 기반 정렬을 초기화하는 데 있어 좁은 캡처 범위 문제를 해결하기 위해.
• 도구 자세 추정의 정확성과 견고성을 향상시키기 위해 의미 정보(세분화 및 지표점)를 활용하는 학습 기반 방법을 개발하기 위해.
• 오직 2D X-ray 영상만을 사용하여 미세 외과 정형외과 수술에서 연속성 있는 유연한 조작기(CDM)의 정확한 내시적 내비게이션을 가능하게 하기 위해.
• 실제 임상 데이터에 대해 재훈련 없이도 일반화할 수 있도록, 물리기반 X-ray 영상(DeepDRR)을 사용해 합성된 데이터로 컨volutional 신경망을 훈련시키기 위해.
• 합성 데이터와 실체 동물에서 촬영한 고死체 X-ray 영상에서의 성능 평가를 통해 일반화 능력과 임상 적용 가능성 평가하기 위해.

제안 방법

• CDM의 2D 세분화와 지표점 검출을 동시에 수행하기 위해 스킵 연결을 갖춘 U-Net 유사한 인코더-디코더 컨volutional 신경망을 사용한다.
• 신경망은 DeepDRR라는 물리기반 디지털 톰오그래피 렌더러를 사용해 생성된 합성 X-ray 영상으로 훈련된다. 이 렌더러는 X-ray 감쇠, 산산각산, 노이즈를 시뮬레이션한다.
• CDM는 6 mm 지름의 니트로이드 소재로, 26개의 번갈아가는 홈이 있으며, 부드러운 굽힘을 위해 5개의 제어점을 사용하는 큐빅 스퍼인으로 형태를 매개변수화한다.
• 정답 데이터에는 홈 영역의 2D 세분화 마스크와 두 핵심 지표점인 첫 번째 홈 기준점과 마지막 홈의 끝부분에 대한 믿음 지도(Gaussian 분포)가 포함된다.
• 손실 함수로는 세분화에 대해 덱스 손실, 지표점 국소화에 대해 L2 손실를 사용하며, 100 에포크 동안 학습률 감소를 적용한다.
• 데이터 증강에는 CDM 자세, 원천-검출기 거리(1200 mm), 원천-중심점 거리(400–500 mm), 그리고 각도(라우/라오: 0–360°, 크란/쿠아드: 75–105°)의 무작위 샘플링에 더해 무작위 이동 및 굽힘 각도가 포함된다.

실험 결과

연구 질문

• RQ1 합성 물리기반 X-ray 영상에서 훈련된 딥러닝 모델이 실제 X-ray 플루오로스코피에서 다이너믹 수술 기구를 정확하게 세분화하고 국소화할 수 있는가?

주요 결과

• 합성 데이터에서 모델은 세분화에 대해 평균 덱스 점수 0.996 ± 0.001을 달성하여 거의 완벽한 마스크 예측을 보였다.
• 합성 데이터에서 지표점 검출의 평균 L2 오차는 0.365 ± 0.345 mm로, 높은 국소화 정밀도를 입증했다.
• 실체 동물에서 촬영한 고死체 X-ray 영상에서 모델은 평균 덱스 점수 0.915 ± 0.063과 평균 L2 오차 2.54 ± 0.95 mm를 기록하여 실제 데이터로의 강력한 일반화 능력을 보였다.
• 훈련 중에 나타나지 않은 구성(예: 도구가 뼈 외부로 완전히 벗어난 경우)에서는 성능 저하가 관찰되었으며, 이는 표준편차가 더 높은 데서 나타났다.
• 직접 회귀보다 믿음 지도를 사용한 지표점 감독이 국소화 정확도를 향상시켰다.
• 세분화와 지표점을 포함한 의미적 신호를 제공함으로써, 이 방법은 2D/3D 정렬의 신뢰할 수 있는 초기화를 가능하게 하여 영상유도 내비게이션의 견고성에 핵심적인 역할을 한다.