[论文解读] Deep learning with spatiotemporal consistency for nerve segmentation in ultrasound images

Adel Hafiane, Pierre Vieyres+1 more|arXiv (Cornell University)|Jun 19, 2017

Anesthesia and Pain Management被引用 17

一句话总结

本文提出一种具有时空一致性的深度学习框架，以提升超声引导区域麻醉中神经的分割效果。通过结合卷积神经网络（CNN）进行初始神经定位，利用空间与时间一致性减少假阳性结果，再通过概率活动轮廓模型实现精确的边界勾勒，该方法在神经定位中实现了96%的F1分数，且分割精度高。

ABSTRACT

Ultrasound-Guided Regional Anesthesia (UGRA) has been gaining importance in the last few years, offering numerous advantages over alternative methods of nerve localization (neurostimulation or paraesthesia). However, nerve detection is one of the most tasks that anaesthetists can encounter in the UGRA procedure. Computer aided system that can detect automatically region of nerve, would help practitioner to concentrate more in anaesthetic delivery. In this paper we propose a new method based on deep learning combined with spatiotemporal information to robustly segment the nerve region. The proposed method is based on two phases, localisation and segmentation. The first phase, consists in using convolutional neural network combined with spatial and temporal consistency to detect the nerve zone. The second phase utilises active contour model to delineate the region of interest. Obtained results show the validity of the proposed approach and its robustness.

研究动机与目标

• 解决超声引导区域麻醉（UGRA）中神经检测不可靠的问题，其中手动定位耗时且需要专家技能。
• 减少因超声图像中的噪声和伪影导致的神经定位中的假阳性检测。
• 借鉴人类专家利用探头运动提升神经识别置信度的方式，利用动态扫描行为——空间与时间一致性——来提升检测可靠性。
• 通过将优化后的定位结果作为主动轮廓模型的初始轮廓，提升分割精度。
• 证明将时空一致性与深度学习结合，优于传统方法如支持向量机（SVM）和独立的卷积神经网络（CNN）

提出的方法

• 使用具有ReLU激活函数和最大池化的三层卷积神经网络，对64×64的图像块进行分类，判断其为神经组织或非神经组织区域。
• 通过保留序列中多个帧中检测结果一致的感兴趣区域（ROI），实现空间一致性。
• 通过要求检测到的ROI在探头稳定移动期间连续超声帧中保持稳定，实现时间一致性。
• 基于帧间交并比（IoU）的软投票机制，过滤掉噪声或瞬态检测结果。
• 将优化后的ROI作为初始轮廓输入概率测地线主动轮廓（PGVF）模型，以精确分割神经边界。
• 使用随机梯度下降优化CNN，并在全连接层应用0.5比例的dropout进行正则化。

实验结果

研究问题

• RQ1 时空一致性是否能显著减少从超声图像中进行神经定位时的假阳性检测？
• RQ2 将基于CNN的特征学习与时间与空间一致性结合，是否相比独立的CNN或SVM能更有效地提升定位鲁棒性？
• RQ3 在临床环境中，利用动态扫描信息（如探头运动）在多大程度上能提升检测的可靠性？
• RQ4 当使用一致的ROI作为初始化时，将深度学习与主动轮廓模型结合，是否能实现更优的分割精度？
• RQ5 所提出方法与现有方法（如结合特征选择或时间约束的SVM）相比，在定量指标上表现如何？

主要发现

• 所提方法在神经定位中实现了0.96 ± 0.25的F1分数，优于独立CNN（0.91 ± 0.24）和结合特征选择的SVM（0.88 ± 0.52）。
• 引入时空一致性后，F1分数相比仅使用CNN提升了5%，表明有效抑制了假阳性结果。
• 在分割任务中，该方法获得了0.85 ± 0.15的Dice系数和10.72 ± 3.91的豪斯多夫距离，与专家标注结果高度重叠。
• 将CNN与时空约束结合，相比使用时间约束的SVM（F1分数：0.92 ± 0.33），更有效地降低了假阳性率。
• 定性结果显示，分割结果与专家绘制的真值高度一致，即使在低对比度或噪声区域也能实现精确边界勾勒。
• 该框架在10例患者视频中表现稳健，每段视频平均包含500帧，验证了其在真实世界动态超声序列中的性能。