[论文解读] $Σ$-net: Systematic Evaluation of Iterative Deep Neural Networks for Fast Parallel MR Image Reconstruction

Kerstin Hammernik, Jo Schlemper+4 more|arXiv (Cornell University)|Dec 18, 2019

Advanced MRI Techniques and Applications参考文献 73被引用 18

一句话总结

本文提出Σ-net，一种系统性框架，用于在fastMRI膝关节数据集上评估加速并行磁共振成像重建中的迭代深度神经网络。该框架比较了数据一致性层、损失函数、半监督微调以及模型集成方法，结果表明通过结合原始k空间和图像域学习，集成模型在提升感知质量的同时实现了平衡的定量指标，达到最先进性能。

ABSTRACT

Purpose: To systematically investigate the influence of various data consistency layers, (semi-)supervised learning and ensembling strategies, defined in a $Σ$-net, for accelerated parallel MR image reconstruction using deep learning. Theory and Methods: MR image reconstruction is formulated as learned unrolled optimization scheme with a Down-Up network as regularization and varying data consistency layers. The different architectures are split into sensitivity networks, which rely on explicit coil sensitivity maps, and parallel coil networks, which learn the combination of coils implicitly. Different content and adversarial losses, a semi-supervised fine-tuning scheme and model ensembling are investigated. Results: Evaluated on the fastMRI multicoil validation set, architectures involving raw k-space data outperform image enhancement methods significantly. Semi-supervised fine-tuning adapts to new k-space data and provides, together with reconstructions based on adversarial training, the visually most appealing results although quantitative quality metrics are reduced. The $Σ$-net ensembles the benefits from different models and achieves similar scores compared to the single state-of-the-art approaches. Conclusion: This work provides an open-source framework to perform a systematic wide-range comparison of state-of-the-art reconstruction approaches for parallel MR image reconstruction on the fastMRI knee dataset and explores the importance of data consistency. A suitable trade-off between perceptual image quality and quantitative scores are achieved with the ensembled $Σ$-net.

研究动机与目标

• 系统评估不同数据一致性层、损失函数和训练策略在基于深度学习的并行磁共振成像重建中的影响。
• 通过在公开的fastMRI数据集上提供标准化、开源的评估框架，弥合磁共振成像重建研究中的可复现性差距。
• 探究对抗性训练和半监督微调是否能在牺牲部分定量指标的前提下提升感知图像质量。
• 探索通过整合多样化架构的优势，模型集成在实现稳健、高质量重建方面的优势。
• 通过使用灵敏度加权线圈组合作为参考，避免RSS方法固有的噪声偏差，实现公平比较。

提出的方法

• 将磁共振成像重建建模为一种基于下采样-上采样网络（DUN）作为正则化项的可学习展开优化方案，并采用不同数据一致性（DC）层。
• 采用两种网络类型：灵敏度网络（显式线圈灵敏度图）和并行线圈网络（隐式线圈组合）。
• 引入多种损失函数：内容损失（ℓ₁、SSIM）、通过生成对抗网络（GANs）实现的对抗性损失，以及利用未标记k空间数据的半监督微调方案。
• 应用模型集成，结合来自多样化架构的预测结果，以增强鲁棒性和感知质量。
• 使用fastMRI膝关节数据集，采用回顾性 undersampling 在加速因子R=4和R=8下进行评估，并采用灵敏度加权参考重建结果。
• 在统一、系统化的设置下训练所有模型，以确保不同架构和组件之间的公平比较。

实验结果

研究问题

• RQ1 不同数据一致性层（如k空间与图像域）在基于深度学习的并行磁共振成像重建中如何影响重建质量？
• RQ2 对抗性损失和基于内容的损失在多大程度上改善了感知图像质量，其与定量指标之间的权衡关系如何？
• RQ3 在未标记k空间数据上进行半监督微调是否能提升模型在新采集模式下的泛化能力和性能？
• RQ4 模型集成是否能有效结合多样化架构的优势，实现更优且平衡的性能？
• RQ5 使用灵敏度加权线圈组合作为参考，相比RSS方法，如何提升多线圈MRI评估的公平性？

主要发现

• 使用原始k空间数据的架构在fastMRI多线圈验证集上的定量和定性性能均显著优于图像增强方法。
• 半监督微调使模型能够适应新的k空间采样模式，并在标签数据有限时提升鲁棒性。
• 对抗性训练生成了最具视觉吸引力的重建结果，尽管导致了略低的定量指标（如SSIM和PSNR降低）。
• 最终的Σ-net集成模型性能与最先进方法相当，同时在保持高定量得分的同时实现了更优的感知质量。
• 灵敏度加权参考重建相比RSS方法减少了噪声偏差，实现了对多线圈模型更公平的评估。
• 模型集成有效缓解了单个模型的弱点，从而在不同解剖结构和对比度变化下实现了更一致且可靠的性能。