[论文解读] Interactive Deep Refinement Network for Medical Image Segmentation

Titinunt Kitrungrotsakul, Yutaro Iwamoto+4 more|arXiv (Cornell University)|Jun 27, 2020

Advanced Neural Network Applications参考文献 25被引用 12

一句话总结

本文提出一种交互式深度精炼网络（RefineNet），通过联合训练的精炼模块对U-Net和FCN的输出进行优化，提升医学图像分割性能。该方法融合多尺度特征与用户提供的种子点，支持端到端训练并实现自动种子点生成，在2D分割任务中，U-Net的Dice分数达到0.960，FCN达到0.941，性能达到当前最先进水平。

ABSTRACT

Deep learning techniques have successfully been employed in numerous computer vision tasks including image segmentation. The techniques have also been applied to medical image segmentation, one of the most critical tasks in computer-aided diagnosis. Compared with natural images, the medical image is a gray-scale image with low-contrast (even with some invisible parts). Because some organs have similar intensity and texture with neighboring organs, there is usually a need to refine automatic segmentation results. In this paper, we propose an interactive deep refinement framework to improve the traditional semantic segmentation networks such as U-Net and fully convolutional network. In the proposed framework, we added a refinement network to traditional segmentation network to refine the segmentation results.Experimental results with public dataset revealed that the proposed method could achieve higher accuracy than other state-of-the-art methods.

研究动机与目标

• 解决医学图像中低对比度、纹理相似结构导致的自动分割困难问题。
• 克服CRF和GAN等后处理方法的局限性，这些方法独立运行或仅在训练阶段使用，无法对推理阶段结果进行精炼。
• 开发一种端到端可训练的框架，将精炼过程与分割网络集成，提升精度，且推理阶段无需手动提供种子点。
• 通过用户提供的种子点实现交互式精炼，同时在训练阶段使网络自动学习生成种子点，降低用户负担。
• 在2D切片分割与半自动逐切片分割任务中，性能均优于当前最先进方法。

提出的方法

• 将精炼网络作为插件模块集成在基础分割网络（U-Net或FCN）之后，实现与主网络的联合训练。
• 利用初始分割输出的多尺度特征，为精炼网络提供更丰富的上下文信息。
• 将用户提供的种子点（前景/背景）作为额外输入，引导精炼过程，同时在训练阶段自动生成种子点。
• 使用优化分割精度的损失函数，端到端训练精炼网络，使其学习根据种子点输入对预测结果进行精炼。
• 在推理阶段仅使用用户提供的种子点应用训练好的精炼网络，无需重新训练或外部后处理。
• 采用边界膨胀与骨架化方法，从参考分割切片中生成可靠的种子点，用于半自动分割任务。

实验结果

研究问题

• RQ1 与独立后处理方法相比，与分割主干网络联合训练的精炼网络是否能显著提升低对比度医学图像的分割精度？
• RQ2 将用户提供的种子点集成到深度学习精炼模块中，是否能带来优于仅依赖自动种子点生成或完全无交互方法的性能提升？
• RQ3 精炼网络是否能在训练阶段学习自动生成种子点，同时在推理阶段仍仅依赖用户提供的种子点？
• RQ4 在2D分割与半自动逐切片分割中，所提方法与CRF、GAN和图割方法相比，在Dice分数、敏感度和阳性预测值方面的表现如何？
• RQ5 与现有交互式方法（如DEXTR或图割）相比，该方法是否能更有效地减少复杂解剖区域的过分割与欠分割现象？

主要发现

• 在2D切片分割任务中，所提RefineNet在U-Net上的Dice分数达到0.960，在FCN上达到0.941，显著优于原始网络（分别为0.729和0.709），并匹配或超越当前最先进方法。
• 在半自动逐切片分割任务中，RefineNet的Dice分数达到0.937，优于图割方法（0.890）、带形状约束的图割方法（0.926）以及DEXTR方法（0.582）。
• 在复杂肝脏区域（如第83和第92切片）中，与图割及带形状约束的图割方法相比，RefineNet有效减少了过分割与欠分割现象，如图4的可视化结果所示。
• RefineNet在2D与半自动设置下均保持高性能，表明其在不同分割场景下具备鲁棒性与泛化能力。
• 训练阶段集成自动种子点生成机制，实现了端到端学习，同时在推理阶段仅需用户提供种子点，显著提升了实用性。
• 当作为后处理步骤应用于相同主干网络时，RefineNet在CRF、GAN和图割方法之上表现更优，证实其作为专用精炼模块的有效性。