[论文解读] Interactive Medical Image Segmentation via Point-Based Interaction and Sequential Patch Learning

Jinquan Sun, Yinghuan Shi+5 more|arXiv (Cornell University)|Apr 27, 2018

Advanced Neural Network Applications参考文献 22被引用 11

一句话总结

本文提出了一种新颖的交互式医学图像分割方法，通过基于点的交互和双向ConvRNN的顺序补丁学习，提升低对比度、不规则形状结构的边界检测性能。通过从中心点沿射线提取的补丁建模特征表示，该方法在CT肾肿瘤、MR前列腺和PROMISE12挑战赛中均达到最先进性能，在PROMISE12排行榜中位列第4名。

ABSTRACT

Due to low tissue contrast, irregular object appearance, and unpredictable location variation, segmenting the objects from different medical imaging modalities (e.g., CT, MR) is considered as an important yet challenging task. In this paper, we present a novel method for interactive medical image segmentation with the following merits. (1) Our design is fundamentally different from previous pure patch-based and image-based segmentation methods. We observe that during delineation, the physician repeatedly check the inside-outside intensity changing to determine the boundary, which indicates that comparison in an inside-outside manner is extremely important. Thus, we innovatively model our segmentation task as learning the representation of the bi-directional sequential patches, starting from (or ending in) the given central point of the object. This can be realized by our proposed ConvRNN network embedded with a gated memory propagation unit. (2) Unlike previous interactive methods (requiring bounding box or seed points), we only ask the physician to merely click on the rough central point of the object before segmentation, which could simultaneously enhance the performance and reduce the segmentation time. (3) We utilize our method in a multi-level framework for better performance. We systematically evaluate our method in three different segmentation tasks including CT kidney tumor, MR prostate, and PROMISE12 challenge, showing promising results compared with state-of-the-art methods. The code is available here: \href{https://github.com/sunalbert/Sequential-patch-based-segmentation}{Sequential-patch-based-segmentation}.

研究动机与目标

• 解决在组织对比度低、外观不规则且目标位置多变的医学图像中进行分割的挑战。
• 通过仅需单个中心点点击而非边界框或多粒种子点，减少医生的工作负担。
• 通过顺序补丁学习建模内部-外部强度变化，提升边界勾画精度。
• 开发一种轻量化、快速且可训练的模型，适用于2D医学图像分割，并可扩展至3D。

提出的方法

• 该方法利用医生单次中心点点击，定义从物体内部延伸至外部的射线。
• 在16条射线上以固定步长（4或6）提取顺序补丁，形成由内而外的定向序列。
• 在U-Net类架构中嵌入双向门控ConvRNN，以学习跨顺序补丁的时空表征。
• 门控记忆传播单元支持长距离依赖建模和内部-外部对比，模拟医生的分割行为。
• 采用多级框架端到端训练模型，以增强不同尺度下的特征学习。
• 该方法应用于2D图像，可通过多方向结果融合扩展至3D。

实验结果

研究问题

• RQ1 仅通过最小交互（单个中心点点击）是否可在复杂医学影像任务中实现具有竞争力的分割性能？
• RQ2 通过双向特征学习建模顺序补丁，是否能提升低对比度和模糊区域的边界检测性能？
• RQ3 具有门控记忆单元的轻量化浅层网络是否能在医学图像分割中超越更深的网络？
• RQ4 所提方法在包括CT和MR在内的多样化医学影像任务中，与最先进方法相比表现如何？

主要发现

• 该方法在PROMISE12挑战赛排行榜中总得分为85.33，10支队伍中排名第4。
• 在多个指标上取得最佳结果：Whole ABD（1.79 mm）、Base ABD（2.11 mm）、Whole 95HD（5.35 mm）、Whole DSC（89.81%）和Base DSC（87.49%）。
• 在前列腺整体区域和基底区域的ABD和DSC指标上，优于其他3D深度学习模型。
• 模型紧凑（5.2MB），训练和测试速度快，且在极少用户交互下仍具高效性。
• 该方法在不同模态间表现出强泛化能力，包括CT肾肿瘤和MR前列腺分割。
• 尖端区域DSC略低（81.74%），可能由于顶部/底部切片中中心点选择引入噪声。