[论文解读] MSU-Net: Multiscale Statistical U-Net for Real-time 3D Cardiac MRI Video Segmentation

Tianchen Wang, Jinjun Xiong+6 more|arXiv (Cornell University)|Sep 15, 2019

Advanced Neural Network Applications参考文献 12被引用 14

一句话总结

MSU-Net 提出了一种用于实时3D心脏MRI视频分割的多尺度统计U-Net，通过独立成分分析（ICA）将输入数据建模为多尺度规范形式分布，实现并行处理并保持时空相关性。其推理速度最高提升268%，Dice分数比标准U-Net高1.6%，比GridNet快237%且Dice分数高3.6%。

ABSTRACT

Cardiac magnetic resonance imaging (MRI) is an essential tool for MRI-guided surgery and real-time intervention. The MRI videos are expected to be segmented on-the-fly in real practice. However, existing segmentation methods would suffer from drastic accuracy loss when modified for speedup. In this work, we propose Multiscale Statistical U-Net (MSU-Net) for real-time 3D MRI video segmentation in cardiac surgical guidance. Our idea is to model the input samples as multiscale canonical form distributions for speedup, while the spatio-temporal correlation is still fully utilized. A parallel statistical U-Net is then designed to efficiently process these distributions. The fast data sampling and efficient parallel structure of MSU-Net endorse the fast and accurate inference. Compared with vanilla U-Net and a modified state-of-the-art method GridNet, our method achieves up to 268% and 237% speedup with 1.6% and 3.6% increased Dice scores.

研究动机与目标

• 解决MRI引导介入手术中对实时3D心脏MRI视频分割的需求挑战。
• 克服现有深度学习分割方法在心脏MRI中速度与精度之间的权衡。
• 开发一种轻量化、高效的网络架构，在保持高分割精度的同时实现实时推理（≥30 FPS）。
• 利用统计分布高效建模时空相关性，同时不损失性能。
• 实现实时临床应用所需的即插即用分割，适用于实时心脏手术引导。

提出的方法

• 通过在时空块上应用独立成分分析（ICA），将3D MRI视频帧建模为多尺度规范形式分布。
• 通过在不同空间和时间尺度上对重叠块应用ICA，提取多尺度分布，以保留多尺度时空相关性。
• 设计一种并行统计U-Net架构，包含多个轻量化编码器-解码器分支，每个分支处理一种特定尺度的规范形式分布。
• 利用规范形式操作（加权和、最大值）在网络中保持分布特性，实现高效可微分推理。
• 将参数化统计分布（均值、独立分量、噪声）作为网络输入，相比确定性张量显著降低计算负载。
• 使用标准反向传播进行训练，对标准CNN训练流程仅作最小修改。

实验结果

研究问题

• RQ1 将3D心脏MRI视频建模为多尺度规范形式分布，是否能在不降低分割精度的前提下提升推理速度？
• RQ2 所提出的并行统计U-Net架构在实时3D MRI分割任务中，与标准U-Net和GridNet相比，在速度和精度方面表现如何？
• RQ3 多尺度数据采样在在多大程度上能够保留对准确心脏结构分割至关重要的时空相关性？
• RQ4 在临床环境中，统计U-Net能否在显著加速推理以满足实时要求（≥30 FPS）的同时保持高Dice分数？
• RQ5 在所提框架中，时间上下文长度（T5 vs. T10）的最优平衡点是什么？

主要发现

• MSU-Net (T10) 实现70.2 FPS，比最准确的基线方法GridNet（15.7 FPS）快2.75倍，平均Dice分数仅下降0.028%。
• MSU-Net (T5) 实现43.2 FPS，平均Dice分数（0.862）比标准U-Net（0.846）高1.6%，尽管标准U-Net在原始形式下更快。
• 浅层U-Net变体（D3+IF16 和 D3+IF8）分别实现33.2和43.2 FPS，但出现严重精度下降（Dice分数分别降至0.690和0.662），证实了速度与精度之间的权衡。
• MSU-Net (T10) 相比标准U-Net实现268%的速度提升和1.6%更高的Dice分数，展现出更优的效率-精度平衡。
• MSU-Net (T5) 相比GridNet（D3+IF32）实现237%的速度提升和3.6%更高的Dice分数，确立其为所有对比方法中最快且最准确的方法。
• 视觉结果表明，LV和MYO在基底、中间和心尖切片上的边界勾勒准确，而RV由于边界模糊，精度略有下降。