[논문 리뷰] MRI to CT Translation with GANs

Bodo Kaiser, Shadi Albarqouni|arXiv (Cornell University)|2019. 01. 16.

AI in cancer detection참고 문헌 20인용 수 7

한 줄 요약

이 논문은 RIRE 데이터셋을 활용하여 철저한 전처리 및 코어지스트레이션을 거친 GAN을 사용한 MRI에서 CT로의 변환을 위한 종합적인 파이프라인을 제시한다. U-Net과 Pix2Pix GAN 아키텍처를 평가하였으며, 적대적 훈련이 표준 CNN보다 구조 유사도를 높이고 잡음 요소를 줄이는 데 유의미한 영향을 미친다. Pix2Pix는 훈련 세트에서 PSNR 60.38, 검증 세트에서 47.55를 기록하였다.

ABSTRACT

We present a detailed description and reference implementation of preprocessing steps necessary to prepare the public Retrospective Image Registration Evaluation (RIRE) dataset for the task of magnetic resonance imaging (MRI) to X-ray computed tomography (CT) translation. Furthermore we describe and implement three state of the art convolutional neural network (CNN) and generative adversarial network (GAN) models where we report statistics and visual results of two of them.

연구 동기 및 목표

• 방사선 노출 없이 MRI에서 CT로의 변환을 가능하게 하여 방사선 치료 계획 수립 시 임상적 필요를 충족시키기 위해.
• 공개 의료 영상 데이터셋을 위한 전처리 및 딥러닝 파이프라인의 재현 가능하고 기준이 되는 구현을 제공하기 위해.
• 이미지 품질 및 정량적 지표 측면에서 최신의 CNN 및 GAN 기반 모델을 MRI에서 CT로의 변환에 대해 비교하기 위해.
• 적대적 손실과 기울기 부스팅이 생성된 CT 영상에서 연조직 구조 합성에 미치는 영향을 조사하기 위해.
• 의료 영상 변환 분야에서 표준화된 벤치마크와 최적의 실천 방법이 부족한 문제를 해결하기 위해.

제안 방법

• 전처리 단계에서는 ITK를 사용하여 RIRE 데이터셋의 MHD 형식의 부피 영상 MRI 및 CT 데이터를 추출, 압축 해제 및 NIfTI 형식으로 변환하였다.
• MRI 및 CT 부피를 정렬하기 위해 상호정보 최적화를 활용한 강성 코어지스트레이션을 적용하였으며, 공간 정규화를 보장하기 위해 CT를 고정 기준으로 삼았다.
• 세 가지 딥러닝 모델을 구현하였다: 평균 절대 오차(MAE) 손실을 사용한 U-Net, 최소 제곱 적대적 손실을 사용한 Pix2Pix GAN, 기울기 부스팅을 적용한 최적화된 Pix2Pix 변종.
• Pix2Pix GAN은 국소적 현실성 강화를 위해 패치 기반 GAN 판별자를 사용하였으며, 적대적 손실이 생성자에게 더 사진처럼 현실적인 CT 유사 영상을 생성하도록 유도하였다.
• 기울기 부스팅은 두개골을 제거한 부피에서 뇌 마스크를 생성하고, 최적화 과정에서 연조직 영역의 손실 가중치를 증가시켜 적용하였다.
• 평가에는 훈련 및 검증 세트에서 MAE, MSE, PSNR와 같은 표준 지표를 사용하였으며, 횡단면을 기준으로 시각적 검토도 수행하였다.

실험 결과

연구 질문

• RQ1 적대적 훈련을 통한 GAN 기반 접근 방식이 구조적 유사도와 시각적 현실성 측면에서 표준 CNN보다 MRI에서 CT로의 변환 성능을 뛰어나게 할 수 있는가?
• RQ2 패치 기반 GAN 판별자를 사용한 적대적 훈련이 평균 절대 오차 손실 대비 생성된 CT 영상의 품질에 어떤 영향을 미치는가?
• RQ3 지역 특화 손실 가중치를 적용한 기울기 부스팅을 통해 생성된 CT 영상에서 연조직 세부 구조가 얼마나 향상되는가?
• RQ4 RIRE 데이터셋에서 GAN 기반 MRI에서 CT로의 변환에 최적의 훈련 하이퍼파라미터와 손실 구성은 무엇인가?
• RQ5 제안된 전처리 및 코어지스트레이션 파이프라인이 신뢰성 있게 재현 가능하며 향후 의료 영상 변환 연구의 기준이 될 수 있는가?

주요 결과

• Pix2Pix GAN 모델은 훈련 세트에서 PSNR 60.38, 검증 세트에서 47.55를 기록하여 두 지표에서 U-Net보다 뛰어난 성능을 보였다.
• 시각적 비교 결과, Pix2Pix 모델은 U-Net 대비 더 적은 잡음 요소를 생성하였고, 특히 연조직 영역에서 해부학적 구조를 더 잘 유지하였다.
• 기울기 부스팅을 적용한 최적화된 Pix2Pix 변종은 검증 세트에서 MAE(112.23 vs. 112.73)와 PSNR(47.68 vs. 47.55)에서 약간의 향상을 보였으며, 이는 연조직 영역에서의 잠재적 이점이 있음을 시사하였다.
• 정량적 개선에도 불구하고 시각적 분석은 연조직 구조 향상 여부를 확실히 확인하지 못하였으며, 이는 하이퍼파라미터 조정이 최적화되지 않았거나 수렴 문제의 가능성을 시사하였다.
• Pix2Pix의 적대적 손실은 최적화를 더 나은 국소 최적점으로 이끌어 표준 CNN 기반 베이스라인 대비 더 현실적인 CT 합성을 가능하게 하였다.
• 본 연구는 GAN 기반 접근이 표준 CNN 대비 MRI에서 CT로의 변환 성능을 크게 향상시킴을 확인하였지만, 표준화된 벤치마크 부족으로 인해 이 분야에서 GAN의 잠재력은 아직 충분히 탐색되지 않은 상태이다.