[论文解读] Fine-grained Recurrent Neural Networks for Automatic Prostate Segmentation in Ultrasound Images

Xin Yang, Lequan Yu+5 more|arXiv (Cornell University)|Dec 6, 2016

Medical Image Segmentation Techniques被引用 6

一句话总结

本文提出一种细粒度循环神经网络（BCRNN）框架，将超声图像中的前列腺边界分割建模为序列学习问题，以解决边界严重不完整的问题。通过整合生物启发式RNN、多尺度自动上下文方案与多视角融合，该方法在处理模糊、遮挡和低对比度边界方面实现了最先进性能。

ABSTRACT

Boundary incompleteness raises great challenges to automatic prostate segmentation in ultrasound images. Shape prior can provide strong guidance in estimating the missing boundary, but traditional shape models often suffer from hand-crafted descriptors and local information loss in the fitting procedure. In this paper, we attempt to address those issues with a novel framework. The proposed framework can seamlessly integrate feature extraction and shape prior exploring, and estimate the complete boundary with a sequential manner. Our framework is composed of three key modules. Firstly, we serialize the static 2D prostate ultrasound images into dynamic sequences and then predict prostate shapes by sequentially exploring shape priors. Intuitively, we propose to learn the shape prior with the biologically plausible Recurrent Neural Networks (RNNs). This module is corroborated to be effective in dealing with the boundary incompleteness. Secondly, to alleviate the bias caused by different serialization manners, we propose a multi-view fusion strategy to merge shape predictions obtained from different perspectives. Thirdly, we further implant the RNN core into a multiscale Auto-Context scheme to successively refine the details of the shape prediction map. With extensive validation on challenging prostate ultrasound images, our framework bridges severe boundary incompleteness and achieves the best performance in prostate boundary delineation when compared with several advanced methods. Additionally, our approach is general and can be extended to other medical image segmentation tasks, where boundary incompleteness is one of the main challenges.

研究动机与目标

• 解决超声图像中因可见性差和遮挡导致的边界不完整问题，从而影响准确分割。
• 克服传统形状模型依赖手工设计描述符且易丢失局部信息的局限性。
• 开发一个端到端框架，无缝集成特征提取与形状先验学习，以实现鲁棒的边界估计。
• 在存在斑点噪声、低对比度以及患者间解剖结构显著变异的情况下，提升分割精度。
• 证明该方法在其他具有类似边界挑战的医学图像分割任务中具备良好的泛化能力。

提出的方法

• 通过序列化将2D前列腺超声图像转换为动态序列，以支持空间关系的序列建模。
• 采用生物上合理的循环神经网络（RNN）通过利用序列化序列中的时间依赖性来学习形状先验。
• 实施多视角融合策略，以减少不同序列化方向带来的偏差，并提高形状预测的鲁棒性。
• 将RNN核心集成到多尺度自动上下文框架中，以在逐级细化的层次上迭代优化分割图。
• 使用RMSProp配合时间反向传播进行端到端训练，最小化形状预测的欧氏损失。
• 在自动上下文方案中使用三个上下文层级（从粗到细），每一层均基于前一层的预测进行优化。

实验结果

研究问题

• RQ1 循环神经网络能否有效建模序列形状先验，以恢复超声图像中缺失或模糊的边界？
• RQ2 与单视角序列化相比，序列化后的多视角融合在多大程度上提升了形状预测的鲁棒性与准确性？
• RQ3 将RNN集成到多尺度自动上下文框架中，在多大程度上增强了细节细化与边界勾勒能力？
• RQ4 在具有挑战性的超声条件下，所提出的BCRNN框架是否优于预训练的CNN与FCN模型？
• RQ5 该框架是否可泛化至其他医学图像分割任务，其中边界不完整是主要障碍？

主要发现

• BCRNN-Level1与BCRNN-Level2在所有评估指标上均达到优于或与预训练T-CNN和T-FCN模型相当的性能。
• 从BCRNN-Level0到BCRNN-Level1的优化显著提升了所有指标，证明了分层上下文学习的有效性。
• 从BCRNN-Level1到BCRNN-Level2的性能提升微乎其微，表明在三个以上上下文层级后收益递减。
• 该方法在Dice、Jaccard和一致性评分上达到最先进水平，且平均边界距离（Adb）低于对比方法。
• 学习曲线显示，粗粒度层级的训练加速了细粒度层级的优化，证实了分层引导效应的存在。
• 辅助主动形状模型（ASM）在BCRNN形状预测图的强引导下表现良好，验证了预测形状先验的质量。