[논문 리뷰] Synthesizing MR Image Contrast Enhancement Using 3D High-resolution ConvNets

Chao Chen, Catalina Raymond외 6명|arXiv (Cornell University)|2021. 04. 04.

Brain Tumor Detection and Classification인용 수 7

한 줄 요약

이 논문은 뇌에서 구리질화된 T1 강화 MRI를 비구리질화된 T1, T2 및 ADC 영상에서 합성하는 3D 고해상도 전연결망(FCN)을 제안하며, 뇌 영역에서 PSNR 28.24 dB, 종양 영역에서 21.2 dB의 최신 기술 수준 성능을 달성하여 종양 대조를 크게 향상시키고 구리질화제 사용을 줄였다.

ABSTRACT

extit{Objective:} Gadolinium-based contrast agents (GBCAs) have been widely used to better visualize disease in brain magnetic resonance imaging (MRI). However, gadolinium deposition within the brain and body has raised safety concerns about the use of GBCAs. Therefore, the development of novel approaches that can decrease or even eliminate GBCA exposure while providing similar contrast information would be of significant use clinically. extit{Methods:} In this work, we present a deep learning based approach for contrast-enhanced T1 synthesis on brain tumor patients. A 3D high-resolution fully convolutional network (FCN), which maintains high resolution information through processing and aggregates multi-scale information in parallel, is designed to map pre-contrast MRI sequences to contrast-enhanced MRI sequences. Specifically, three pre-contrast MRI sequences, T1, T2 and apparent diffusion coefficient map (ADC), are utilized as inputs and the post-contrast T1 sequences are utilized as target output. To alleviate the data imbalance problem between normal tissues and the tumor regions, we introduce a local loss to improve the contribution of the tumor regions, which leads to better enhancement results on tumors. extit{Results:} Extensive quantitative and visual assessments are performed, with our proposed model achieving a PSNR of 28.24dB in the brain and 21.2dB in tumor regions. extit{Conclusion and Significance:} Our results suggest the potential of substituting GBCAs with synthetic contrast images generated via deep learning. Code is available at \url{https://github.com/chenchao666/Contrast-enhanced-MRI-Synthesis

연구 동기 및 목표

• 뇌와 신체에 구리질화제 침착이 발생할 수 있는 안전성 우려로 인해 뇌 MRI에서 구리질화제 기반 대조제 사용을 줄이거나 제거하기 위해.
• 비구리질화 MRI 스캔에서 구리질화 T1 강화 MRI 시퀀스를 합성하는 딥 러닝 기반 방법을 개발하여 진단에 필요한 대조 정보를 유지하기 위해.
• MRI 볼륨에서 종양 영역이 미흡하게 표현되고 이전 방법에서 종종 잘 강화되지 않는 문제를 개선하기 위해.
• 정상 조직과 종양 볼륨 간의 데이터 불균형 문제를 해결하기 위해, 학습 중 종양 영역 기여도를 높이기 위해 국소 손실 함수를 도입하기 위해.
• 이전 데이터셋보다 크기와 다양성이 뛰어난 400명 이상의 환자를 포함한 대규모 데이터셋을 구축하여 가상의 대조 강화를 위한 기반을 마련하기 위해.

제안 방법

• 전체 추론 과정에서 고해상도 공간 정보를 유지하기 위해, 해상도를 떨어뜨리는 다운샘플링 및 업샘플링 연산을 피하는 3D 고해상도 전연결망(FCN)을 설계하였다.
• 모델은 T1, T2 및 영상 확산 계수(ADC) 지도의 세 가지 비구리질화 MRI 시퀀스를 입력으로 받아, 해당하는 구리질화 T1(CE-T1) 시퀀스를 출력으로 예측한다.
• 확장된 컨볼루션과 스케일 연결을 통해 다중 척도 특징을 동시에 수집하여 세밀한 정보와 맥락 정보를 모두 포괄한다.
• 학습 중 종양 볼륨의 기여도를 재가중하기 위해 새로운 국소 손실 함수를 도입하여, 볼륨 수가 적은 영역에서의 강화 품질을 향상시켰다.
• 전역 손실 함수와 국소 손실 함수의 조합을 사용하여 엔드 투 엔드로 네트워크를 학습하였으며, 국소 손실 함수는 종양 영역 재구성 정밀도에 집중하였다.
• 400명 이상의 뇌 종양 환자로 구성된 데이터셋을 대상으로 평가하였으며, 정량적(PSNR, SSIM) 및 정성적 평가를 광범위하게 수행하였다.

실험 결과

연구 질문

• RQ1 구리질화제를 사용하지 않고 비구리질화 T1, T2 및 ADC 시퀀스에서 고해상도 구리질화 T1 MRI 시퀀스를 합성할 수 있는가?
• RQ2 병렬 다중 척도 집합을 갖춘 3D 고해상도 FCN은 기존 2D/3D U-Net 아키텍처에 비해 합성 품질을 어떻게 향상시키는가?
• RQ3 정상 조직과 종양 볼륨 간의 데이터 불균형을 고려할 때, 국소 손실 함수를 통합하면 합성 MRI의 종양 영역 대조를 얼마나 향상시킬 수 있는가?
• RQ4 400명 이상의 환자를 포함한 더 큰, 더 다양한 데이터셋은 이전 연구(100명 미만)에 비해 일반화 능력과 성능을 어떻게 향상시키는가?
• RQ5 PSNR 및 시각적 품질 측면에서 기존 최신 기술 수준의 가상 대조 강화 기법과 비교해 본 결과, 제안된 방법의 성능는 어떠한가?

주요 결과

• 제안된 3D 고해상도 FCN은 전체 뇌 영역에서 PSNR 28.24 dB를 달성하여, 비구리질화 입력만을 사용함에도 불구하고 이전 방법을 능가하였다.
• 모델은 종양 영역에서 PSNR 21.2 dB를 기록하여, 이전 방법이 종종 작은 또는 저대조 종양 병변을 잘 강화하지 못하는 데 비해 뚜렷한 향상을 보였다.
• 국소 손실 함수의 도입으로 종양 영역 강화가 크게 향상되어 병적 영역에서 대조 강화의 과소 및 과소 평가 문제가 감소하였다.
• 기존 최신 기술 수준의 방법들인 2D/3D U-Net 변종 및 베이지안 U-Net을 초월하여 전체 뇌 영역에서 PSNR가 1 dB 이상 높아섰다.
• 아우트레이션 연구를 통해 T1, T2, ADC의 세 시퀀스를 모두 사용할 경우 성능이 최대로 향상됨을 확인하였으며, 단일 또는 이중 시퀀스만 사용하는 모델보다 뛰어났다.
• 모델는 다양한 종양 유형에 대해 강력한 일반화 능력을 보였으며, 이전까지 가장 큰 규모인 400명 이상의 환자 데이터셋을 통해 검증되었다.