[论文解读] Joint CS-MRI Reconstruction and Segmentation with a Unified Deep Network

Liyan Sun, Zhiwen Fan+3 more|arXiv (Cornell University)|May 6, 2018

Advanced MRI Techniques and Applications被引用 5

一句话总结

该论文提出SegNetMRI，一种统一的深度学习框架，通过共享的编码器-解码器架构与级联模块整合重建与分割分支，联合执行压缩感知MRI重建与MRI分割。该方法通过端到端训练和特征共享，实现任务间的相互正则化，从而在重建精度（PSNR: 34.27 dB）和分割性能（Dice: 86.38%）上均取得提升，优于独立的重建与分割流水线。

ABSTRACT

The need for fast acquisition and automatic analysis of MRI data is growing in the age of big data. Although compressed sensing magnetic resonance imaging (CS-MRI) has been studied to accelerate MRI by reducing k-space measurements, in current CS-MRI techniques MRI applications such as segmentation are overlooked when doing image reconstruction. In this paper, we test the utility of CS-MRI methods in automatic segmentation models and propose a unified deep neural network architecture called SegNetMRI which we apply to the combined CS-MRI reconstruction and segmentation problem. SegNetMRI is built upon a MRI reconstruction network with multiple cascaded blocks each containing an encoder-decoder unit and a data fidelity unit, and MRI segmentation networks having the same encoder-decoder structure. The two subnetworks are pre-trained and fine-tuned with shared reconstruction encoders. The outputs are merged into the final segmentation. Our experiments show that SegNetMRI can improve both the reconstruction and segmentation performance when using compressive measurements.

研究动机与目标

• 为现有CS-MRI与分割方法中将重建与分割视为独立任务的缺陷提供解决方案。
• 开发一种统一的深度神经网络，实现在压缩采样下的MRI重建与分割的联合优化。
• 通过在两个子网络间共享编码器特征，实现重建与分割之间的相互正则化。
• 提升在欠采样k空间数据上的分割精度，该问题在当前CS-MRI流水线中常被忽视。
• 证明联合学习相较于顺序或孤立方法，能够同时提升重建保真度与分割性能。

提出的方法

• SegNetMRI基于级联模块结构构建，结合了MRI重建网络（MRN）与分割网络（MSN），每个网络均包含编码器-解码器单元。
• MRN使用数据保真度项以确保与欠采样k空间测量结果的一致性，而MSN则执行语义分割。
• 两个网络共享相同的编码器组件，从而在训练过程中实现特征迁移与相互正则化。
• 多个MSN解码器的输出通过1×1卷积进行拼接与融合，生成最终分割结果。
• 模型首先在重建与分割任务上分别进行预训练，随后通过共享编码器权重进行端到端微调。
• 该架构采用统一损失函数，结合重建（ℓ₂）与分割（交叉熵或Dice）目标。

实验结果

研究问题

• RQ1 与将重建与分割视为独立任务相比，联合学习MRI重建与分割是否能提升性能？
• RQ2 在重建与分割子网络之间共享编码器特征是否能带来更好的泛化能力与精度？
• RQ3 1×1卷积融合层的引入如何影响多个解码器输出的分割性能？
• RQ4 该联合框架在欠采样k空间数据上，能在多大程度上降低重建误差并提升分割Dice分数？
• RQ5 增加SegNetMRI中级联块的数量是否能持续提升重建与分割性能？

主要发现

• SegNetMRI在重建MRI上的PSNR达到34.27 dB，优于GBRWT（31.80 dB）、MRN 5（33.94 dB）和Liu et al.（2017）（33.47 dB）。
• 该模型在灰质分割中达到86.38%的Dice系数，显著优于早期块的独立MSN输出（例如，第1层为75.15%）。
• 灰质分割的Hausdorff距离（HD）降低至1.66，体积差异（AVD）降低至2.52，表明分割精度极高。
• 联合训练框架有效降低了重建误差，尤其在具有诊断意义的组织区域，如残差图所示。
• 增加块数（N）可提升重建PSNR与分割Dice分数，其中N=5时性能最佳。
• 1×1卷积融合层能有效结合多尺度特征，使分割性能优于单一块输出。