[논문 리뷰] Synthetic CT Generation from MRI Using Improved DualGAN

Denis Prokopenko, Joël Valentin Stadelmann외 3명|arXiv (Cornell University)|2019. 09. 19.

Advanced Image Processing Techniques참고 문헌 11인용 수 10

한 줄 요약

이 논문은 비정렬된 MRI에서 CT로의 합성에 대해 향상된 DualGAN 프레임워크를 제안하며, VGG-16를 통한 인지적 손실과 좌표 컨볼루션 레이어를 통합하여 구조적 정밀도와 영상 품질을 향상시킨다. 이 방법은 합성 CT에서 평균 절대 오차(MAE) 61 HU와 SSIM 0.8을 달성하여 기준 GAN보다 실사성과 해부학적 정확도에서 뚜렷한 향상을 보였다.

ABSTRACT

Synthetic CT image generation from MRI scan is necessary to create radiotherapy plans without the need of co-registered MRI and CT scans. The chosen baseline adversarial model with cycle consistency permits unpaired image-to-image translation. Perceptual loss function term and coordinate convolutional layer were added to improve the quality of translated images. The proposed architecture was tested on paired MRI-CT dataset, where the synthetic CTs were compared to corresponding original CT images. The MAE between the synthetic CT images and the real CT scans is 61 HU computed inside of the true CTs body shape.

연구 동기 및 목표

• 공개된 촬영 스캔이 필요 없는 방사선 치료 계획을 위한 강력한 비정렬 MRI에서 CT로의 영상 변환 방법을 개발하기 위해.
• 별도의 MRI 및 CT 촬영으로 인한 잘못된 정렬 아티팩트를 해결하기 위해 MRI만을 사용하여 합성 CT를 생성하기 위해.
• 고도화된 딥 러닝 구성 요소를 통해 합성 CT의 영상 품질과 구조 일관성을 향상시키기 위해.
• 인지적 손실과 좌표 컨볼루션 레이어가 의료 영상 합성에서 변환 정밀도에 미치는 영향을 평가하기 위해.

제안 방법

• 비정렬 데이터를 위한 사이클 일관성을 강제하기 위해 두 개의 생성자(MRI→CT 및 CT→MRI)와 두 개의 판별자로 구성된 향상된 DualGAN 아키텍처를 채택한다.
• 사전 훈련된 VGG-16를 사용하여 실제 CT 영상과 생성된 CT 영상 간의 고수준 특징을 일치시키는 인지적 손실 기능을 도입한다.
• 공간 위치(x, y)를 특징 맵에 인코딩하여 해부학적 구조의 국소화 정확도를 향상시키기 위해 좌표 컨볼루션 레이어를 통합한다.
• 대부분의 손실 함수(대비 손실, 사이클 일관성, 인지적 손실)를 사용하여 비정렬 MRI 및 CT 볼륨에서 끝에서 끝까지 훈련한다.
• 세 가지 데이터셋(CPTAC, 두경부 암, 기관 내부)을 사용하며, 훈련-테스트 분할 비율을 7:3으로 설정하고 3D 축방향 슬라이스를 정규화 및 전처리한다.
• 테스트 세트에서 MAE, PSNR, SSIM을 사용하여 성능을 평가하며, 네 가지 구성(기본 DualGAN, DualGAN+CC, DualGAN+VGG, DualGAN+VGG+CC) 간 비교를 수행한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 VGG-16 네트워크에서 유도된 인지적 손실이 MRI에서 생성된 합성 CT의 인지적 품질을 향상시키는가?
• RQ2 좌표 컨볼루션 레이어의 통합이 MRI에서 CT로의 변환에서 공간 정확도와 구조 세부 정보를 향상시키는가?
• RQ3 인지적 손실과 좌표 컨볼루션 레이어의 조합이 기준 DualGAN에 비해 정량적 및 정성적 성능에서 어떻게 비교되는가?
• RQ4 어떤 정도로 모델은 코나 이가 복잡한 영역에서 뼈와 공기와 같은 해부학적 구조를 유지하는가?
• RQ5 제안된 방법은 정렬된 MRI-CT 스캔이 없이도 방사선 치료 계획에 임상적으로 수용 가능한 영상 품질을 달성할 수 있는가?

주요 결과

• 인지적 손실과 좌표 컨볼루션 레이어를 모두 통합한 DualGAN(DualGAN, VGG, CC)이 기준 DualGAN(62.95 ± 1.17 HU)에 비해 가장 낮은 MAE 60.83 ± 2.20 HU를 기록했다.
• 인지적 손실과 좌표 컨볼루션의 조합은 SSIM을 0.80 ± 0.03으로 향상시켰으며, 기준 모델의 0.79 ± 0.02에 비해 더 높은 구조 유사성을 나타냈다.
• 전체 구성에서 PSNR는 17.21 ± 1.00 dB를 기록하여 합성 CT의 신호 품질 향상을 보였다.
• 시각적 검토 결과, 인지적 손실과 좌표 컨볼루션은 영상의 현실성 향상과 특히 연조직 및 뼈 구조에서의 흐림 현상을 감소시켰다.
• 가장 높은 오차는 코와 이와 같은 복잡한 해부학적 영역에서 발생했으며, 세밀한 구조 번역의 한계를 시사했다.
• 제안된 방법은 임상적으로 관련 있는 영상 품질을 성공적으로 생성하였으며, 실제 몸체 윤곽 내에서 MAE 61 HU를 달성하여 최신 기술 수준의 방법과 유사한 성능을 보였다.