[논문 리뷰] 3D Path Planning from a Single 2D Fluoroscopic Image for Robot Assisted Fenestrated Endovascular Aortic Repair

Jian-Qing Zheng, Xiao-Yun Zhou외 2명|arXiv (Cornell University)|2018. 09. 16.

Aortic aneurysm repair treatments참고 문헌 11인용 수 3

한 줄 요약

이 논문은 단일 2D Fluoroscopic 영상만을 사용하여 로봇 보조 분열된 대동맥aneurysm 수리(FEVAR)를 위한 실시간 3D 로봇 경로 계획 프레임워크를 제안한다. 사전 수술 3D 대동맥aneurysm(AAA) 뼈대와 수술 중 2D 투과 영상 간의 정렬을 위해 그래프 매칭을 활용하고, 길이 및 매끄러움 정규화를 적용한 얇은 판 스퍼린(Thin-Plate Spline, TPS) 변형을 통해 비탄성 뼈대 변형을 수행하여, 펌프 모델에서 2 mm 이내의 3D 거리 오차를 달성하였으며, ICP-TPS보다 정확도, 내성, 속도 면에서 뛰어난 성능을 보였다.

ABSTRACT

The current standard of intra-operative navigation during Fenestrated Endovascular Aortic Repair (FEVAR) calls for need of 3D alignments between inserted devices and aortic branches. The navigation commonly via 2D fluoroscopic images, lacks anatomical information, resulting in longer operation hours and radiation exposure. In this paper, a framework for real-time 3D robotic path planning from a single 2D fluoroscopic image of Abdominal Aortic Aneurysm (AAA) is introduced. A graph matching method is proposed to establish the correspondence between the 3D preoperative and 2D intra-operative AAA skeletons, and then the two skeletons are registered by skeleton deformation and regularization in respect to skeleton length and smoothness. Furthermore, deep learning was used to segment 3D pre-operative AAA from Computed Tomography (CT) scans to facilitate the framework automation. Simulation, phantom and patient AAA data sets have been used to validate the proposed framework. 3D distance error of 2mm was achieved in the phantom setup. Performance advantages were also achieved in terms of accuracy, robustness and time-efficiency. All the code will be open source.

연구 동기 및 목표

• FEVAR 수술 중 2D Fluoroscopic 영상에서 3D 해부학적 맥락의 부족으로 인한 방사선 노출 증가 및 수술 시간 연장 문제를 해결하기 위해.
• 단일 수술 중 2D Fluoroscopic 영상만을 사용하여 실시간 3D 로봇 경로 계획을 가능하게 하기 위해.
• 딥 러닝을 통한 사전 수술 세분화 및 그래프 기반 뼈대 대응을 통합하여 3D AAA 형상 재구성의 정확도와 효율성을 향상시키기 위해.
• 다중 Fluoroscopic 영상이나 침습적 랜드마크에 대한 의존도를 줄이기 위해 단일 2D 투과 영상에서 3D 경로 재구성 기술을 제공하기 위해.

제안 방법

• 사전 수술 CT 영상에서 주요 대동맥aneurysm를 자동으로 세분화하기 위해 6블록 U-Net을 사용하며, 교차 엔트로피 손실과 확률적 경사 하강법을 적용한다.
• 3D 영상의 경우 regionprops 및 bwareopen을 활용하고, 2D 영상의 경우 MATLAB 스키마틱화를 통해 사전 수술 3D 및 수술 중 2D AAA 뼈대를 추출한다.
• 구조적 유사성을 기반으로 3D 사전 수술 뼈대와 2D 수술 중 뼈대 간의 정점 대응 관계를 설정하기 위해 그래프 매칭을 적용한다.
• 3D 뼈대에 대해 얇은 판 스퍼린(TPS) 변형을 통해 비탄성 정렬을 수행하며, 길이 및 매끄러움 제약 조건을 정규화로 적용하여 2D 투과 영상에 적합하도록 한다.
• 딥 러닝을 통한 자동 사전 수술 세분화 통합으로 수동 간섭을 줄이고 파이프라인의 자동화를 향상시킨다.
• 성능 평가 지표로 2D/3D 거리 오차와 계산 시간을 사용하여 시뮬레이션, 펌프 모델, 환자 데이터셋에서 검증을 수행한다.

실험 결과

연구 질문

• RQ1 단일 2D Fluoroscopic 영상로 FEVAR 수술에서 실시간 3D 경로 재구성의 정확도와 속도를 확보할 수 있는가?
• RQ2 투영 불확실성으로 인해 3D 사전 수술 뼈대와 2D 수술 중 뼈대 간의 정점 대응 관계를 어떻게 강건하게 설정할 수 있는가?
• RQ3 기존 ICP-TPS 대비 그래프 매칭 및 TPS 기반 변형이 AAA에 대한 2D/3D 비탄성 정렬에서 성능 향상에 기여하는 정도는 어떠한가?
• RQ4 딥 러닝을 통한 사전 수술 AAA 세분화가 실시간 3D 경로 계획을 지원하기 위해 얼마나 자동화를 가능하게 하는가?
• RQ5 제안된 프레임워크는 실시간 임상 적용을 위해 1초 이내의 런타임을 달성할 수 있는가?

주요 결과

• 펌프 모델에서 제안된 방법은 3D 거리 오차가 2 mm로, ICP-TPS 기준선보다 유의미하게 뛰어난 성능을 보였다.
• 환자 데이터에서 제안된 방법은 평균 2D 거리 오차를 0.1222 픽셀(표준편차: 0.1455)으로 줄였으며, ICP-TPS는 0.7061 픽셀(표준편차: 3.0812)을 기록하였다.
• 전체 런타임은 2D 뼈대 추출에 약 0.9초, 비탄성 정렬에 약 0.8초가 소요되었으며, ICP-TPS는 10분 이상 소요되었다.
• 전면 평면 이동 및 회전에 대해 강건성을 보였으며, 환자 케이스 간 일관된 성능을 유지하였다.
• 사전 수술 AAA 세분화에 대한 딥 러닝의 활용은 자동화된 파이프라인 운영을 가능하게 하였지만, 신장 및 대퇴동맥 분지의 경우 여전히 수동 보정이 필요하였다.
• 모든 데이터셋에서 ICP-TPS보다 정확도와 시간 효율성 면에서 뛰어난 성능을 보였으며, 2D 및 3D 거리 오차와 표준편차가 모두 낮았다.