[论文解读] A Segmentation-aware Deep Fusion Network for Compressed Sensing MRI

Zhiwen Fan, Liyan Sun+4 more|arXiv (Cornell University)|Apr 4, 2018

Sparse and Compressive Sensing Techniques参考文献 27被引用 7

一句话总结

该论文提出SADFN，一种用于压缩感知磁共振成像（CS-MRI）的分割感知深度融合网络，通过利用语义分割标签提升重建精度。通过跨任务与跨层特征融合，将多层分割特征融合进重建U-Net，简化了逆映射过程，在MRBrainS基准上实现了最先进性能，同时提升了下游分割精度。

ABSTRACT

Compressed sensing MRI is a classic inverse problem in the field of computational imaging, accelerating the MR imaging by measuring less k-space data. The deep neural network models provide the stronger representation ability and faster reconstruction compared with "shallow" optimization-based methods. However, in the existing deep-based CS-MRI models, the high-level semantic supervision information from massive segmentation-labels in MRI dataset is overlooked. In this paper, we proposed a segmentation-aware deep fusion network called SADFN for compressed sensing MRI. The multilayer feature aggregation (MLFA) method is introduced here to fuse all the features from different layers in the segmentation network. Then, the aggregated feature maps containing semantic information are provided to each layer in the reconstruction network with a feature fusion strategy. This guarantees the reconstruction network is aware of the different regions in the image it reconstructs, simplifying the function mapping. We prove the utility of the cross-layer and cross-task information fusion strategy by comparative study. Extensive experiments on brain segmentation benchmark MRBrainS validated that the proposed SADFN model achieves state-of-the-art accuracy in compressed sensing MRI. This paper provides a novel approach to guide the low-level visual task using the information from mid- or high-level task.

研究动机与目标

• 解决现有基于深度学习的CS-MRI方法忽视MRI分割标签中高层语义监督的局限性。
• 通过将不同组织类型（灰质GM、白质WM、脑脊液CSF）的语义信息整合进低层次图像重建过程，提升重建精度。
• 利用分割标签中捕捉到的组织特异性强度分布，简化图像重建中的函数映射。
• 评估重建质量对下游分割任务的影响，证明语义感知重建的价值。
• 建立一种新型的跨任务融合框架，实现从分割到重建的知识迁移，提升整体医学图像处理流程。

提出的方法

• 提出双流架构：一个用于组织标签的分割网络，和一个用于图像恢复的重建U-Net，辅以跨任务特征融合。
• 采用多层特征聚合（MLFA）方法，整合分割网络多个层次的特征，保留分层语义信息。
• 引入一种特征融合策略，将聚合后的分割特征注入重建网络的每个残差块中，实现区域感知学习。
• 采用端到端联合训练范式，同时训练重建与分割头，其中分割头为重建网络提供监督信号。
• 利用组织特异性强度分布的统计特性（如GM、WM、CSF中呈单峰分布）简化重建函数映射。
• 在重建U-Net中采用多尺度跳跃连接设计，以在获得语义引导的同时保留精细细节。

实验结果

研究问题

• RQ1 来自MRI分割标签的高层语义监督是否能提升压缩感知MRI重建的准确性？
• RQ2 跨层与跨任务特征融合如何影响不同欠采样模式下的重建质量与泛化能力？
• RQ3 整合分割感知特征是否能降低图像重建函数映射的复杂度？
• RQ4 与标准重建方法相比，所提方法在下游分割任务中的性能提升程度如何？
• RQ5 所提SADFN模型是否能在重建精度与推理速度之间实现优于现有基于深度学习的CS-MRI方法的平衡？

主要发现

• SADFN在MRBrainS基准上实现了最先进的重建性能，优于现有基于深度学习的CS-MRI模型，PSNR与SSIM指标均更优。
• 在20%欠采样条件下，SADFN在测试集上达到平均32.15 dB的PSNR与0.921的SSIM，相比次优方法（Liu[26]）在PSNR上领先0.45 dB。
• 在下游分割任务中，SADFN在灰质（85.76%）、白质（81.29%）和脑脊液（80.08%）的Dice系数均最高，且在灰质与白质上超过全采样输入基线。
• 重建误差图显示，SADFN产生的伪影更少，且在组织边界处对精细结构的保持更优。
• 该模型展现出强大的泛化能力，在20%笛卡尔与20%随机欠采样模式下均达到最优性能。
• 尽管推理时间略长（0.06秒），SADFN在重建质量与计算效率之间实现了最佳平衡。