[논문 리뷰] Evaluation of CT Image Synthesis Methods:From Atlas-based Registration to Deep Learning

Andreas D. Lauritzen, Xenophon Papademetris외 2명|arXiv (Cornell University)|2019. 06. 11.

Medical Imaging Techniques and Applications인용 수 6

한 줄 요약

이 논문은 MRI에서 CT로의 영상 합성 기법을 평가하며, 앤트라스 기반 정렬, 딥러닝(2D/3D U-Net, 적대적, 뼈 가중치 U-Net), 그리고 다중 앤트라스 사전 정보를 딥러닝과 조합하는 새로운 하이브리드 방법을 비교한다. 적대적 훈련을 적용한 2D U-Net가 성능, 속도, 메모리 효율성의 최적 균형을 달성하여 3D 모델을 능가하며, 직접 MRI 분할보다 더 정확한 뼈 분할을 가능하게 한다.

ABSTRACT

Computed tomography (CT) is a widely used imaging modality for medical diagnosis and treatment. In electroencephalography (EEG), CT imaging is necessary for co-registering with magnetic resonance imaging (MRI) and for creating more accurate head models for the brain electrical activity due to better representation of bone anatomy. Unfortunately, CT imaging exposes patients to potentially harmful sources of ionizing radiation. Image synthesis methods present a solution for avoiding extra radiation exposure. In this paper, we perform image synthesis to create a realistic, synthetic CT image from MRI of the same subject, and we present a comparison of different image synthesis techniques. Using a dataset of 30 paired MRI and CT image volumes, our results compare image synthesis using deep neural network regression, state-of-the-art adversarial deep learning, as well as atlas-based synthesis utilizing image registration. We also present a novel synthesis method that combines multi-atlas registration as a prior to deep learning algorithms, in which we perform a weighted addition of synthetic CT images, derived from atlases, to the output of a deep neural network to obtain a residual type of learning. In addition to evaluating the quality of the synthetic CT images, we also demonstrate that image synthesis methods allow for more accurate bone segmentation using the synthetic CT imaging than would otherwise be possible by segmenting the bone in the MRI directly.

연구 동기 및 목표

• 다양한 MRI에서 CT로의 영상 합성 기법, 즉 앤트라스 기반 정렬 및 딥러닝 모델을 평가하고 비교하는 것.
• 영상 합성의 영향을 뼈 분할 정확도에 대해 평가하며, 특히 합성 CT와 직접 MRI 분할 간의 비교를 수행하는 것.
• 다중 앤트라스 정렬을 딥 네트워크의 사전 정보로 사용하는 새로운 하이브리드 방법을 제안하고 평가하는 것.
• MRI에서 CT로의 영상 합성에서 모델 복잡도, 훈련 시간, 추론 속도, 영상 품질 간 최적의 트레이드오���을 규명하는 것.
• 합성 CT 영상이 직접 MRI 기반 분할보다 더 정확한 뼈 분할을 가능하게 한다는 것을 입증하는 것.

제안 방법

• 비틀림 없는 비선형 및 애피니티 변환을 사용하여 강도 기반 정렬을 최적화하여, 목표 주체의 MRI에 T1 가중 MRI 및 CT 앤트라스 쌍의 집합을 정렬하는 데 다중 앤트라스 정렬을 사용한다.
• 2D MRI 슬라이스에서 CT 영상을 예측하기 위해 스킵 연결이 있는 2D U-Net을 평균 절대 오차(MAE) 손실을 사용하여 훈련하며, 데이터 증강 및 정규화를 적용한다.
• 합성된 CT 영상의 시각적 현실감과 고주파 세부 정보를 향상시키기 위해 PatchGAN 판별자를 사용하는 2D U-Net의 적대적 변형을 적용한다.
• 손실 함수에서 뼈 영역을 강조하여 뼈 구조에서의 합성 정확도를 향상시키기 위해 뼈 가중치 손실을 훈련 중에 적용한다.
• 다중 앤트라스 정렬의 출력(사전 정보)과 딥 네트워크를 결합하기 위해 가중치가 부여된 잔차 덧셈을 수행하여 최종 합성 CT 영상을 정밀하게 보정하는 새로운 하이브리드 방법을 제안한다.
• 모든 모델은 전체 두개부 및 뼈 마스크 영역에서 PSNR, MAE, SSIM, PCC를 사용하여 평가되며, 합성 CT 영상에서 k-means 군집화를 통해 뼈 분할을 수행한다.

실험 결과

연구 질문

• RQ1 PSNR, MAE, SSIM, PCC와 같은 정량적 영상 품질 지표 측면에서 다양한 MRI에서 CT로의 영상 합성 방법 간의 성능을 어떻게 비교할 수 있는가?
• RQ2 합성 CT 영상은 직접 MRI 분할보다 더 정확한 뼈 분할을 가능하게 하는가?
• RQ3 2D U-Net이 3D U-Net보다 MRI에서 CT로의 영상 합성에서 훈련 시간, 추론 속도, 성능 측면에서 우월한가?
• RQ4 다중 앤트라스 정렬을 사전 정보로 사용하여 딥러닝과 조합하면 합성 품질과 분할 정확도가 향상되는가?
• RQ5 적대적 훈련은 합성된 CT 영상의 시각적 질감과 구조적 정밀도에 어떤 영향을 미치는가?

주요 결과

• 적대적 훈련을 적용한 2D U-Net가 뼈 마스크 영역에서 최고의 PSNR(41.59 dB)와 SSIM(0.97)를 기록하여 3D U-Net 및 기타 기준 모델을 능가했다.
• 2D U-Net 모델은 전체 두개부에서 평균 PSNR 28.01 dB, 뼈 영역에서 41.61 dB를 기록했으며, 훈련 시간은 단 16시간으로 3D U-Net의 54시간에 비해 현저히 빠르게 기록되었다.
• 2D U-Net가 생성한 합성 CT 영상은 지표 뼈 분할 결과와 DICE 겹침 지수 0.65를 기록하여 직접 MRI 분할(DICE = 0.63)을 능가했다.
• 3D U-Net 모델은 axial 평면에서 시각적으로 더 선명한 영상을 생성했지만, PSNR는 약간 낮은 41.51 dB였으며, 추론 시간은 2D 모델(10초) 대비 현저히 긴 50~65초를 기록했다.
• 앤트라스 사전 정보를 딥러닝과 조합한 새로운 하이브리드 방법은 시각적으로 덜 현실적인 영상을 생성했으며, 앤트라스 경계가 명확히 보여, 융합 전략의 개선이 필요함을 시사했다.
• 뼈 가중치 2D U-Net는 표준 2D U-Net(9.09) 대비 뼈 영역에서 MAE를 개선하여 10.06으로 향상시켰으며, 이는 뼈 구조의 정확한 국소화가 향상되었음을 시사한다.