[논문 리뷰] Real-time Prediction of Soft Tissue Deformations Using Data-driven Nonlinear Presurgical Simulations

Haolin Liu, Ye Han외 5명|arXiv (Cornell University)|2020. 10. 26.

Medical Imaging and Analysis참고 문헌 25인용 수 4

한 줄 요약

이 논문은 희박하게 등록된 지시자 마커를 사용하여 영상 유도 수술에서 연조직 변형을 실시간으로 예측하기 위한 데이터 기반 인공신경망(ANN) 접근법을 제안한다. 유한요소법(FEM)에 의해 생성된 변형 기준값과 차원 축소를 위한 주성분 분석(PCA)을 활용함으로써, 이 방법은 98%의 경우에서 평균 오프셋이 1.0 mm 미만인 1밀리미터 미만의 정확도를 달성하며 예측 시간이 0.5초 이내로, 수술 중 연조직 추적에 있어 강력한 임상 잠재력을 보여준다.

ABSTRACT

Imaging modalities provide clinicians with real-time visualization of anatomical regions of interest (ROI) for the purpose of minimally invasive surgery. During the procedure, low-resolution image data are acquired and registered with high-resolution preoperative 3D reconstruction to guide the execution of surgical preplan. Unfortunately, due to the potential large strain and nonlinearities in the deformation of soft biological tissues, significant mismatch may be observed between ROI shapes during pre- and intra-operative imaging stages, making the surgical preplan prone to failure. In an effort to bridge the gap between the two imaging stages, this paper presents a data-driven approach based on artificial neural network for predicting the ROI deformation in real-time with sparsely registered fiducial markers. For a head-and-neck tumor model with an average maximum displacement of 30 mm, the maximum surface offsets between benchmarks and predictions using the proposed approach for 98% of the test cases are under 1.0 mm, which is the typical resolution of high-quality interventional ultrasound. Each of the prediction processes takes less than 0.5 s. With the resulting prediction accuracy and computational efficiency, the proposed approach demonstrates its potential to be clinically relevant.

연구 동기 및 목표

• 영상 유도 수술에서 전수술적 3차원 재구성도와 수술 중 영상 간 연조직 변형 불일치 문제를 해결하기 위해.
• 희박한 수술 중 지시자 마커 데이터와 큰 비선형 조직 변형에도 불구하고 실시간 정확한 변형 예측을 가능하게 하기 위해.
• 수술 중 반복적인 유한요소법(FEM) 시뮬레이션의 계산 비용이 과도한 문제를 해결하기 위해, 이를 빠르고 학습된 모델로 대체하기 위해.
• 다양한 변형 시나리오에서 높은 정확도를 유지하는 임상적으로 실현 가능한 환자 맞춤형 프레임워크를 개발하기 위해.
• FEM에 의해 생성된 기준값을 기반으로 훈련된 인공신경망(ANN)을 사용하여 실시간 연조직 복원의 가능성을 입증하기 위해.

제안 방법

• 본 방법은 두부 및 목 부위의 종양에 대한 전수술적 3차원 환자 맞춤형 모델을 사용하고, 메쉬 노드를 지시자 마커(FM)로 선정한다.
• 다양한 하중 조건 하에서 선택된 FM의 이동을 추적하는 비선형 FEM 시뮬레이션의 대규모 데이터셋을 생성한다.
• 변형 모드의 저차원 표현(주성분)을 추출하기 위해 변위장에 주성분 분석(PCA)을 적용한다.
• PCA 계수와 해당하는 FM 이동을 기반으로 인공신경망(ANN)을 훈련시켜 희박한 FM 데이터에서 전체 변형 장에 이르는 매핑을 학습한다.
• 수술 중에는 오직 수술 중 FM 위치만 훈련된 ANN에 입력되며, 이는 실시간으로 전체 변형된 연조직 구성 상태를 예측한다.
• 물리 기반 FEM 시뮬레이션을 데이터 생성에 활용하고 기계학습을 추론 속도 향상에 활용함으로써 실시간 성능를 가능하게 한다.

실험 결과

연구 질문

• RQ1 희박한 지시자 마커 데이터만을 사용하여 데이터 기반 ANN 모델이 실시간으로 1밀리미터 이내의 정확도로 연조직 변형을 예측할 수 있는가?
• RQ2 제안된 ANN 기반 방법의 정확도와 속도가 전통적인 리지 회귀와 비교해 어떻게 다른가?
• RQ3 다른 힘 장치 전략으로 생성된 새로운 변형 시나리오에 대해 훈련된 ANN이 얼마나 잘 일반화되는가?
• RQ4 정확도와 추론 속도의 균형을 고려할 때, 은닉층 크기와 주성분 수를 어떻게 최적화할 수 있는가?
• RQ5 두부 및 목 수술 시나리오에서 흔히 발생하는 복잡하고 큰 변형에 대해 이 방법이 높은 정확도와 낮은 지연 시간을 유지할 수 있는가?

주요 결과

• 테스트 케이스의 98%에서 예측된 구성과 기준 변형 구성 간 최대 표면 오프셋이 1.0 mm 이하였으며, 이는 고성능 간섭성 초음파의 해상도에 맞는다.
• 모든 테스트 케이스에서 평균 예측 시간이 0.5초 미만이었으며, 실시간 성능가능성을 입증한다.
• 제안된 ANN 방법은 정확도와 속도 양면에서 리지 회귀를 뛰어넘었으며, 평균 및 최대 오프셋이 유의미하게 낮았다.
• 최적의 ANN 아키텍처는 은닉층으로 [128, 64]로, 재구성 정확도와 훈련 시간 사이의 최적의 균형을 이룬다.
• 다른 힘 장치 전략으로 생성된 새로운 변형 시나리오에 대해서도 모델이 잘 일반화되어, 강건성과 일반화 능력이 확인되었다.
• 복잡하고 큰 변형이 발생하는 케이스(최대 30 mm 이동)에서도 종양의 최대 치수 대비 1.5%의 오차로 높은 정확도를 유지하였다.