[논문 리뷰] Data-Driven Volumetric Image Generation from Surface Structures using a Patient-Specific Deep Leaning Model

Shaoyan Pan, Chih‐Wei Chang외 6명|PubMed|2023. 04. 28.

Medical Imaging Techniques and Applications참고 문헌 21인용 수 4

한 줄 요약

이 연구는 환자별 맞춤형 딥러닝 모델을 제안하며, 계층적 특징 학습을 갖춘 생성적 적대적 네트워크를 사용하여 영제제로 방사선을 사용하지 않은 표면 스캔에서 3D 부피 CT 영상을 생성한다. 이 방법은 평균 절대 오차 26.9 ± 4.1 허니필드 단위, PSNR 39.1 ± 1.0 dB, SSIM 0.965 ± 0.011를 기록하여 고정밀도의 합성 CT를 구현하며, 방사선 없이 실시간 방사선 치료 영상 유도를 가능하게 한다.

ABSTRACT

The advent of computed tomography significantly improves patients' health regarding diagnosis, prognosis, and treatment planning and verification. However, tomographic imaging escalates concomitant radiation doses to patients, inducing potential secondary cancer by 4%. We demonstrate the feasibility of a data-driven approach to synthesize volumetric images using patients' surface images, which can be obtained from a zero-dose surface imaging system. This study includes 500 computed tomography (CT) image sets from 50 patients. Compared to the ground truth CT, the synthetic images result in the evaluation metric values of 26.9 ± 4.1 Hounsfield units, 39.1 ± 1.0 dB, and 0.965 ± 0.011 regarding the mean absolute error, peak signal-to-noise ratio, and structural similarity index measure. This approach provides a data integration solution that can potentially enable real-time imaging, which is free of radiation-induced risk and could be applied to image-guided medical procedures.

연구 동기 및 목표

• 비이온화 표면 영상에서 3D 부피 CT 영상을 생성하기 위한 데이터 기반 방법을 개발하여 환자 방사선 노출을 줄이기.
• 사전 해부학적 지식 없이 희소하고 저차원의 표면 데이터로부터 세밀한 해부학적 구조를 생성하는 데 도전하기.
• 특히 FLASH 및 영상 유도 수술과 같은 과정에 적합하게 실시간, 방사선 없이 영상 유도를 가능하게 하기.
• 환자별 표면 기하학적 정보를 딥러닝과 통합하여 학습된 특징 상관관계를 통해 숨겨진 부피 해부학을 추론하기.
• 임상 CT를 기준값으로 사용하여 모델 성능을 검증하고, 표준 영상 품질 지표를 통해 정밀도 평가하기.

제안 방법

• 3D 표면 영상에서 3D 부피 CT 영상으로의 변환을 위해 계층적 아키텍처를 갖춘 생성적 적대적 네트워크(GAN)를 사용한다.
• 재구성 네트워크는 표면 영상에서 특징 맵을 추출하고 이를 부피 합성에 적합한 텐서 표현으로 변환한다.
• 실제 임상 CT 스캔의 강도 분포, 노이즈 수준, 대trast 해상도를 일치시키기 위해 정밀화 네트워크를 훈련시킨다.
• 표면 곡률 특징을 추출하여 입력 모odal로 사용하며, 곡률의 크기가 모델 일반화 능력 향상과 불확실성 감소에 기여함을 확인했다.
• 환자별 해부학적 지식을 활용하여 50명의 환자에서 500개의 CT-표면 영상 쌍을 기반으로 엔드 투 엔드로 훈련한다.
• t-SNE 및 클러스터링 분석을 통해 다양한 환자 집단 간 생성 영상의 일관성과 분포를 평가한다.

실험 결과

연구 질문

• RQ1 사전 해부학적 정보 없이 딥러닝 모델이 3D 표면 스캔에서 정확하게 3D 부피 CT 영상을 재구성할 수 있는가?
• RQ2 표면 곡률은 표면에서 부피 영상으로의 변환 과정에서의 성능과 불확실성에 어떤 영향을 미치는가?
• RQ3 데이터 기반의 환자별 맞춤형 모델이 표면 기하학만을 사용하여 임상 CT 스캔의 영상 품질을 어느 정도 재현할 수 있는가?
• RQ4 이 방법을 통해 실시간, 방사선 없이 방사선 치료에서 영상 유도를 가능하게 할 수 있는가, 특히 고정밀 치료인 FLASH에 대해?
• RQ5 환자별 표면 데이터 통합이 부피 영상 합성의 일반화 능력과 강건성에 어떤 영향을 미치는가?

주요 결과

• 제안된 모델은 합성 CT와 기준값 CT 간 평균 절대 오차(MAE)가 26.9 ± 4.1 허니필드 단위를 기록했다.
• 합성 영상의 피크 신호 대 노이즈 비율(PSNR)은 39.1 ± 1.0 dB로 높은 영상 품질과 정밀도를 나타낸다.
• 구조적 유사도 지수 측정(SSIM)은 0.965 ± 0.011에 도달하여 구조적 세부 정보의 강력한 유지 능력을 보였다.
• 표면 곡률 변화가 높은 환자에서는 모델의 불확실성이 감소하여 학습 및 일반화 능력 향상을 시사했다.
• 이 방법은 방사선 없이 실시간 부피 영상 생성을 가능하게 하여 방사선 치료에서 지속적인 영상 유도를 위한 잠재적 해결책을 제공한다.
• 정밀화 네트워크는 임상 CT의 노이즈 수준과 대trast 해상도를 성공적으로 유지하여 현실감과 진단 유용성을 향상시켰다.