[论文解读] Synthesizing MR Image Contrast Enhancement Using 3D High-resolution ConvNets

Chao Chen, Catalina Raymond+6 more|arXiv (Cornell University)|Apr 4, 2021

Brain Tumor Detection and Classification被引用 7

一句话总结

该论文提出一种3D高分辨率全卷积网络（FCN），通过非增强T1、T2和ADC序列合成对比增强的T1加权MRI，实现了SOTA性能，在脑部区域达到28.24 dB的PSNR，在肿瘤区域达到21.2 dB，显著提升了肿瘤对比度，同时减少了对钆基对比剂的依赖。

ABSTRACT

extit{Objective:} Gadolinium-based contrast agents (GBCAs) have been widely used to better visualize disease in brain magnetic resonance imaging (MRI). However, gadolinium deposition within the brain and body has raised safety concerns about the use of GBCAs. Therefore, the development of novel approaches that can decrease or even eliminate GBCA exposure while providing similar contrast information would be of significant use clinically. extit{Methods:} In this work, we present a deep learning based approach for contrast-enhanced T1 synthesis on brain tumor patients. A 3D high-resolution fully convolutional network (FCN), which maintains high resolution information through processing and aggregates multi-scale information in parallel, is designed to map pre-contrast MRI sequences to contrast-enhanced MRI sequences. Specifically, three pre-contrast MRI sequences, T1, T2 and apparent diffusion coefficient map (ADC), are utilized as inputs and the post-contrast T1 sequences are utilized as target output. To alleviate the data imbalance problem between normal tissues and the tumor regions, we introduce a local loss to improve the contribution of the tumor regions, which leads to better enhancement results on tumors. extit{Results:} Extensive quantitative and visual assessments are performed, with our proposed model achieving a PSNR of 28.24dB in the brain and 21.2dB in tumor regions. extit{Conclusion and Significance:} Our results suggest the potential of substituting GBCAs with synthetic contrast images generated via deep learning. Code is available at \url{https://github.com/chenchao666/Contrast-enhanced-MRI-Synthesis

研究动机与目标

• 为解决钆在脑部和全身沉积的安全问题，减少或消除脑部MRI中钆基对比剂（GBCAs）的使用。
• 开发一种基于深度学习的方法，从非增强MRI扫描中合成对比增强的T1加权MRI序列，同时保留诊断所需的对比信息。
• 提升在肿瘤区域的性能，这些区域在MRI体素中代表性不足，且在先前方法中常出现增强效果差的问题。
• 通过引入一种局部损失函数，缓解正常组织与肿瘤体素之间的数据不平衡问题，增强训练过程中肿瘤区域的贡献。
• 建立一个大规模数据集（超过400名患者），用于虚拟对比增强，其规模和多样性超过以往数据集。

提出的方法

• 设计一种3D高分辨率全卷积网络（FCN），在整个推理过程中保持高分辨率空间信息，避免因下采样和上采样操作导致的分辨率下降。
• 模型以三种非增强MRI序列——T1、T2和表观扩散系数（ADC）图作为输入，输出对应对比增强T1（CE-T1）序列。
• 通过空洞卷积和跳跃连接并行实现多尺度特征聚合，以捕捉跨尺度的细粒度与上下文信息。
• 引入一种新颖的局部损失函数，重新加权训练过程中肿瘤体素的贡献，提升低体素数量区域的增强质量。
• 采用全局与局部损失函数的组合，端到端训练网络，其中局部损失专注于提升肿瘤区域重建的保真度。
• 在超过400名脑肿瘤患者的数据库上评估模型，包含广泛的定量（PSNR、SSIM）和定性分析。

实验结果

研究问题

• RQ1 深度学习模型能否在不使用钆基对比剂的情况下，仅从非增强T1、T2和ADC序列中合成高保真度的对比增强T1 MRI序列？
• RQ2 与标准的2D/3D U-Net架构相比，采用并行多尺度聚合的3D高分辨率FCN在合成质量方面有何提升？
• RQ3 在正常组织与肿瘤体素之间存在数据不平衡的情况下，引入局部损失函数在合成MRI中对肿瘤区域对比度的增强程度如何？
• RQ4 与以往研究中少于100名受试者的数据集相比，使用超过400名患者的更大、更多样化数据集是否能提升泛化能力和性能？
• RQ5 在PSNR和视觉质量方面，所提出方法与现有SOTA虚拟对比增强技术相比表现如何？

主要发现

• 所提出的3D高分辨率FCN在全脑区域实现了28.24 dB的PSNR，尽管仅使用非增强输入，仍优于先前方法。
• 该模型在肿瘤区域实现了21.2 dB的PSNR，显著优于以往方法，后者常无法有效增强小病灶或低对比度病灶。
• 引入局部损失函数显著改善了肿瘤区域的增强效果，减少了病理性区域中对比度的低估与高估。
• 该模型在全脑区域的PSNR上比现有SOTA方法（包括2D/3D U-Net变体和贝叶斯U-Net）高出1 dB以上。
• 消融研究显示，使用T1、T2和ADC三种非增强序列可最大化性能，其表现优于仅使用一种或两种序列的模型。
• 该模型在多种脑肿瘤类型上表现出强泛化能力，并在超过400名患者的大型数据集上得到验证，该数据集是目前此类任务中规模最大的。