[论文解读] Deep Segmentation and Registration in X-Ray Angiography Video

Athanasios Vlontzos, Krystian Mikolajczyk|arXiv (Cornell University)|May 16, 2018

Advanced Neural Network Applications参考文献 15被引用 12

一句话总结

该论文提出了一种弱监督、实时的深度学习方法，用于使用自动生成的噪声标注在X射线血管造影视频中进行多类别语义分割。通过在孪生U-Net架构中利用低层次二值分割和光流，该方法在保持90 fps处理速度的同时，相比最先进U-Net实现了20%更高的准确率，从而支持临床实时应用。

ABSTRACT

In interventional radiology, short video sequences of vein structure in motion are captured in order to help medical personnel identify vascular issues or plan intervention. Semantic segmentation can greatly improve the usefulness of these videos by indicating exact position of vessels and instruments, thus reducing the ambiguity. We propose a real-time segmentation method for these tasks, based on U-Net network trained in a Siamese architecture from automatically generated annotations. We make use of noisy low level binary segmentation and optical flow to generate multi class annotations that are successively improved in a multistage segmentation approach. We significantly improve the performance of a state of the art U-Net at the processing speeds of 90fps.

研究动机与目标

• 通过使用自动生成的标签实现弱监督训练，以应对医学视频分割中标注数据有限的挑战。
• 提升在低对比度、噪声较多的X射线血管造影序列中血管和器械的分割准确率。
• 实现实时推理（90 fps），以支持介入放射学中的临床部署。
• 通过孪生网络架构利用时间一致性，提升跨帧的分割稳定性。
• 通过从二值分割和光流生成多类别标签，减少对昂贵人工标注的依赖。

提出的方法

• 利用黑色顶帽滤波和连通域分析生成初始二值分割，提取血管和导管候选区域。
• 在连续帧之间计算光流，以估计运动矢量并提升时空一致性。
• 在自动生成的多类别标注上端到端训练共享权重的孪生U-Net架构，适用于帧对输入。
• 采用弱监督方式训练网络，使用噪声较大的自动生成标签而非人工真实标签。
• 通过多阶段精炼过程，迭代地利用网络预测结果改进标签提议，从而提升分割质量。
• 应用旋转和平移的数据增强策略，以提升模型对真实血管造影片段中运动变化的鲁棒性。

实验结果

研究问题

• RQ1 在缺乏人工标注的情况下，能否有效利用来自低层次图像处理和光流的自动生成噪声标注来训练深度分割网络？
• RQ2 孪生U-Net架构是否能提升动态、低对比度X射线血管造影片段中的时间一致性与分割准确率？
• RQ3 当真实标签稀缺时，使用合成标签的弱监督训练在多大程度上能超越完全监督的U-Net？
• RQ4 是否可能在临床介入场景中实现实时推理（90 fps）并保持高精度分割？
• RQ5 针对动态血管造影片段，使用运动特异性变换的数据增强在多大程度上影响分割性能？

主要发现

• 采用弱监督方式训练的孪生U-Net在二值分割任务中达到0.98的Dice分数，优于包括U-Net和连通域滤波在内的基线方法。
• 在多类别分割中，采用仅旋转增强的所提孪生U-Net（Augm_2）在导管分割中达到0.69 Dice，在血管分割中达到0.54 Dice，相比原始U-Net提升20%。
• 该方法以90帧每秒的速度处理血管造影片段，适用于实时临床应用。
• 使用光流和运动矢量显著提升了在大非刚性形变情况下的帧间时间一致性与分割准确率。
• 性能最佳的模型仅使用自动生成的标注，完全消除了对昂贵人工标注的需求。
• 结合连通域后处理与仅旋转增强的孪生U-Net实现了最高整体性能，证明了所提训练流程的有效性。