[논문 리뷰] Enabling Augmented Segmentation and Registration in Ultrasound-Guided Spinal Surgery via Realistic Ultrasound Synthesis from Diagnostic CT Volume

Ang Li, Jiayi Han외 3명|arXiv (Cornell University)|2023. 01. 05.

Medical Imaging and Analysis인용 수 4

한 줄 요약

이 논문은 척추 수술을 위한 임상적 초음파(US) 데이터와 레이블의 부족을 해결하기 위해 진단용 CT 볼륨에서 합성 뼈 US 영상을 생성하는 현실적인 초음파(US) 시뮬레이션 프레임워크를 제안한다. 경량 비전 트랜스포머와 장거리 대비 학습 모듈(LCLM)을 활용하여 뼈 분할 정확도(0.599 mm Chamfer 거리)와 CT-US 정렬 정확도(0.13–3.37 mm 오차)를 높게 달성하였으며, 실제 임상 데이터 미세조정 없이도 안전하고 실시간으로 US 유도 척추 pedicle 스크류 삽입이 가능하다.

ABSTRACT

This paper aims to tackle the issues on unavailable or insufficient clinical US data and meaningful annotation to enable bone segmentation and registration for US-guided spinal surgery. While the US is not a standard paradigm for spinal surgery, the scarcity of intra-operative clinical US data is an insurmountable bottleneck in training a neural network. Moreover, due to the characteristics of US imaging, it is difficult to clearly annotate bone surfaces which causes the trained neural network missing its attention to the details. Hence, we propose an In silico bone US simulation framework that synthesizes realistic US images from diagnostic CT volume. Afterward, using these simulated bone US we train a lightweight vision transformer model that can achieve accurate and on-the-fly bone segmentation for spinal sonography. In the validation experiments, the realistic US simulation was conducted by deriving from diagnostic spinal CT volume to facilitate a radiation-free US-guided pedicle screw placement procedure. When it is employed for training bone segmentation task, the Chamfer distance achieves 0.599mm; when it is applied for CT-US registration, the associated bone segmentation accuracy achieves 0.93 in Dice, and the registration accuracy based on the segmented point cloud is 0.13~3.37mm in a complication-free manner. While bone US images exhibit strong echoes at the medium interface, it may enable the model indistinguishable between thin interfaces and bone surfaces by simply relying on small neighborhood information. To overcome these shortcomings, we propose to utilize a Long-range Contrast Learning Module to fully explore the Long-range Contrast between the candidates and their surrounding pixels.

연구 동기 및 목표

• 척추 수술에서 딥 러닝 모델 훈련을 위한 임상적 수술 중 초음파(US) 데이터와 정확한 레이블의 심각한 부족을 해결한다.
• US 영상의 잡음과 낮은 대비도로 인한 뼈 표면 레이블링 과제를 극복한다.
• 진단용 CT 볼륨에서 고해상도 합성 US 영상을 생성할 수 있는 현실적이고 방사선이 없는 시뮬레이션 프레임워크를 개발한다.
• 정확하고 실시간 뼈 표면 분할을 위한 경량 비전 트랜스포머 모델을 합성 US 데이터로 훈련시키며, 장거리 대비 학습 모듈(LCLM)을 통합한다.
• 물리적 페phantom(척추 수영장 내, 3D 프린팅된 척추, 아가르에 담긴 牛 척추)을 사용하여 CT-US 정렬 및 pedicle 스크류 삽입의 시뮬레이션 기반 훈련 파이프라인을 검증하며, 밀리미터 이내 정확도와 합병증 없이 성능을 확보한다.

제안 방법

• 조직의 음향 특성, 프로브 기하학, 조직 변형 모델을 통합한 물리 기반 시뮬레이션 파이프라인을 활용하여 진단용 CT 볼륨에서 현실적인 US 영상을 생성한다.
• 압축 및 이동하는 공간 시뮬레이션을 통해 프로브 이동과 조직 압축을 시뮬레이션하여 합성 데이터의 현실성과 다양성을 향상시킨다.
• 장거리 픽셀 간 상관관계를 포착하여 잡음이 많은 US 영상에서 뼈 표면의 정확한 국소화를 향상시키기 위해 장거리 대비 학습 모듈(LCLM)을 도입한다.
• 합성 US 데이터로 경량 비전 트랜스포머 모델을 훈련시켜 고효율성과 고정확도를 갖춘 종단 간 뼈 표면 분할을 수행한다.
• 예비 정렬 후에 노이즈 제거된 반복 가장 가까운 점(Iterative Closest Point, ICP) 알고리즘을 사용하여 분할된 점군 간의 CT-US 정렬을 수행하여 수술 전 계획을 수술 중 US 영상과 일치시킨다.
• 교정된 US 및 CT 스캔으로부터 참값을 확보한 물리적 페phantom(수영장 내 척추, 3D 프린팅된 척추, 아가르에 담긴 牛 척추)을 사용하여 전체 파이프라인을 검증한다.

실험 결과

연구 질문

• RQ1 물리 기반의 시뮬레이션 기반 US 시뮬레이션 프레임워크는 실제 US 데이터가 없이도 진단용 CT 볼륨에서 현실적이고 맥락적으로 정확한 US 영상을 생성할 수 있는가?
• RQ2 장거리 대비 학습 모듈을 갖춘 비전 트랜스포머는 저대비, 에코가 풍부한 US 영상에서 뼈 표면 분할 정확도를 향상시킬 수 있는가?
• RQ3 합성 US 데이터만으로 훈련된 모델이 척추 수술 유도 정렬을 정확하고 강건하게 수행할 수 있는가?
• RQ4 시뮬레이션된 US 데이터가 최소한의 타겟 오차로 안전하고 정확한 pedicle 스크류 삽입을 지원할 수 있는가?
• RQ5 기존의 데이터 증강 기법과 비교할 때 제안된 방법은 현실성, 일반화 능력, 임상 적용 가능성 측면에서 어떻게 우월한가?

주요 결과

• 제안된 US 시뮬레이션 프레임워크는 CT 볼륨에서 현실적인 뼈 US 영상을 성공적으로 생성하여 실제 임상 데이터 없이도 데이터 증강이 가능하다.
• 장거리 대비 학습 모듈을 갖춘 비전 트랜스포머는 뼈 표면 분할에서 0.599 mm의 Chamfer 거리를 기록하여 높은 정밀도를 입증한다.
• 시뮬레이션된 데이터를 활용한 CT-US 정렬은 0.13~3.37 mm의 오차를 기록하였으며, 가장 높은 오차(3.37 mm)는 복잡한 형태를 가진 L5 척추에서 관찰되었다.
• 정렬 기반 pedicle 스크류 삽입은 이동 오차 0.027–4.031 mm, 회전 오차 3.05–4.47 도를 기록하여 임상적 안전성과 정확성을 확인하였다.
• 합성 데이터만으로 훈련된 모델은 전통적 접근법을 초월하며 다양한 해부학적 페phantom에서 잘 일반화되어 강건성을 입증하였다.
• 절단 실험 결과, 장거리 대비 학습 모듈이 뼈 표면 분할 정확도 향상과 국소화 정확도 향상에 효과적임을 확인하였다.