[论文解读] DeU-Net: Deformable U-Net for 3D Cardiac MRI Video Segmentation

Shunjie Dong, Jinlong Zhao+6 more|arXiv (Cornell University)|Jul 13, 2020

Medical Image Segmentation Techniques参考文献 13被引用 5

一句话总结

本文提出 DeU-Net，一种用于 3D 心脏 MRI 电影分割的可变形 U-Net 架构，通过时间建模的时序可变形聚合模块（TDAM）和通过可变形全局位置注意力（DGPA）网络实现的全局上下文编码，实现性能最先进。通过利用可学习采样偏移进行时序特征融合和增强的空间注意力，DeU-Net 在右心室等复杂结构上显著降低了边界误差（ASSD 和 HD），表现优异。

ABSTRACT

Automatic segmentation of cardiac magnetic resonance imaging (MRI) facilitates efficient and accurate volume measurement in clinical applications. However, due to anisotropic resolution and ambiguous border (e.g., right ventricular endocardium), existing methods suffer from the degradation of accuracy and robustness in 3D cardiac MRI video segmentation. In this paper, we propose a novel Deformable U-Net (DeU-Net) to fully exploit spatio-temporal information from 3D cardiac MRI video, including a Temporal Deformable Aggregation Module (TDAM) and a Deformable Global Position Attention (DGPA) network. First, the TDAM takes a cardiac MRI video clip as input with temporal information extracted by an offset prediction network. Then we fuse extracted temporal information via a temporal aggregation deformable convolution to produce fused feature maps. Furthermore, to aggregate meaningful features, we devise the DGPA network by employing deformable attention U-Net, which can encode a wider range of multi-dimensional contextual information into global and local features. Experimental results show that our DeU-Net achieves the state-of-the-art performance on commonly used evaluation metrics, especially for cardiac marginal information (ASSD and HD).

研究动机与目标

• 为解决因边界模糊和部分容积效应导致的 3D 心脏 MRI 电影分割不准确问题，尤其是右心室区域。
• 提升对具有复杂取向和低对比度的细微心脏结构（如心肌）分割的鲁棒性和准确性。
• 通过自适应建模运动和时间上下文，充分挖掘心脏 MRI 帧之间的时空依赖性。
• 通过将多维上下文信息编码到全局和局部特征中，提升特征表示能力，实现精确的边界勾勒。

提出的方法

• 时序可变形聚合模块（TDAM）使用基于 U-Net 的偏移预测网络，学习连续帧之间的可变形采样偏移，实现自适应的时间特征融合。
• TDAM 应用时序聚合可变形卷积，利用预测偏移将来自 $2r+1$ 帧（$r=1$）的特征进行融合，捕捉动态运动模式。
• 可变形全局位置注意力（DGPA）网络在编码器中引入可变形卷积，并使用可变形注意力模块，动态采样空间位置，增强长距离上下文建模能力。
• DGPA 网络通过关注多维上下文信息，联合编码全局和局部特征，提升特征判别力和边界连续性。
• 模型在 3D 心脏 MRI 电影片段上端到端训练，输入在短轴平面进行处理，以保留空间相关性并减少大层间间隙带来的噪声影响。
• 该架构结合时间建模与空间注意力，显著提升分割精度，尤其在右心室心内膜等边缘结构上表现突出。

实验结果

研究问题

• RQ1 通过可变形卷积实现的时间建模是否能提升 3D 心脏 MRI 电影分割中的特征表示能力和分割精度？
• RQ2 可变形注意力机制的集成在建模边界模糊的细微心脏结构方面有何增强作用？
• RQ3 与现有 U-Net 变体相比，所提出的 DeU-Net 在挑战性心脏结构上是否显著降低了边界误差（ASSD 和 HD）？
• RQ4 通过可学习偏移融合时空特征是否相比固定感受野方法更具鲁棒性和泛化能力？
• RQ5 所提方法是否在标准指标上达到最先进性能，尤其在以不规则形状和强度不均一著称的右心室上？

主要发现

• DeU-Net 在所有结构（LV、MYO、RV）上的平均 Dice 分数达到最先进水平 0.90 ± 0.01，优于 ToFlow U-Net 和 Attention U-Net 等先前方法。
• 右心室的平均表面距离（ASSD）降低至 0.19 ± 0.04 mm，显著优于 U-Net（0.49 ± 0.02 mm）和 k U-Net（0.41 ± 0.03 mm）。
• 右心室的 Hausdorff 距离（HD）降低至 9.02 ± 0.11 mm，相比 U-Net（21.21 ± 0.88 mm）提升 57%，相比 k U-Net（14.83 ± 0.42 mm）也降低 57%。
• DeU-Net 在所有结构中达到最低的 HD 值 6.80 ± 0.17 mm，展现出卓越的边界精度，尤其在边缘区域表现优异。
• 视觉对比结果表明，DeU-Net 在右心室和心肌层区域的边界连续性和准确性均优于 GridNet、Attention U-Net 和 ToFlow U-Net。
• 消融实验表明，完整 DeU-Net（同时包含 TDAM 和 DGPA）优于变体（DeU-Net(t) 和 DeU-Net(d)），证明时间建模与空间建模具有互补优势。