[论文解读] Extracting 3D Vascular Structures from Microscopy Images using Convolutional Recurrent Networks

Russell Bates, Benjamin Irving+5 more|arXiv (Cornell University)|May 26, 2017

Medical Image Segmentation Techniques参考文献 18被引用 14

一句话总结

本文提出了一种混合2D-3D深度学习框架，利用U-Net进行2D血管中心线预测，并使用ConvLSTM从各向异性的显微镜图像中重建3D血管结构。该方法通过直接学习骨骼表征，优于3D CNN和2D基线模型，实现了5.31 µm的平均骨骼距离误差，并改善了密集排列血管的分离效果。

ABSTRACT

Vasculature is known to be of key biological significance, especially in the study of cancer. As such, considerable effort has been focused on the automated measurement and analysis of vasculature in medical and pre-clinical images. In tumors in particular, the vascular networks may be extremely irregular and the appearance of the individual vessels may not conform to classical descriptions of vascular appearance. Typically, vessels are extracted by either a segmentation and thinning pipeline, or by direct tracking. Neither of these methods are well suited to microscopy images of tumor vasculature. In order to address this we propose a method to directly extract a medial representation of the vessels using Convolutional Neural Networks. We then show that these two-dimensional centerlines can be meaningfully extended into 3D in anisotropic and complex microscopy images using the recently popularized Convolutional Long Short-Term Memory units (ConvLSTM). We demonstrate the effectiveness of this hybrid convolutional-recurrent architecture over both 2D and 3D convolutional comparators.

研究动机与目标

• 解决从肿瘤血管的高各向异性、低z向分辨率显微镜图像中提取3D血管结构的挑战。
• 克服传统分割-细化流程在密集排列或不规则灌注的肿瘤血管中失效的局限性。
• 开发一种可直接提取血管骨骼的算法，且独立于灌注状态或对比剂的存在。
• 通过利用3D上下文信息，减少全3D卷积的使用，从而提升3D血管拓扑结构的恢复能力，同时降低模型复杂度。
• 证明结合ConvLSTM的混合2D-3D架构在骨骼重建精度上优于2D和3D CNN。

提出的方法

• 基于U-Net的编码器-解码器网络在2D轴向切片上进行训练，使用二元交叉熵和Dice损失函数预测血管中心线（骨骼）。
• 在U-Net之上堆叠ConvLSTM层，以建模相邻z向切片之间的序列依赖关系，从而实现从2D预测中重建3D结构。
• 网络端到端训练，以最小化预测骨骼点与真实骨骼点在3D空间中的距离。
• 该架构使用2D卷积进行平面内特征提取，并通过ConvLSTM实现高效的跨切片上下文建模。
• 采用加权二元交叉熵损失作为主要优化目标，Dice损失作为对比基线。
• 该方法避免使用全3D卷积，从而减少参数量和计算成本，同时保持对3D结构的感知能力。

实验结果

研究问题

• RQ1 基于2D U-Net并结合3D循环模块（ConvLSTM）是否能有效从各向异性的显微镜数据中重建3D血管骨骼？
• RQ2 直接学习血管骨骼是否在密集且不规则的肿瘤血管中优于传统的分割-细化流程？
• RQ3 与全3D U-Net相比，该混合2D-3D架构在骨骼精度和模型复杂度方面表现如何？
• RQ4 在稀疏、类似骨骼的真实标签上训练时，哪种损失函数最有效？
• RQ5 轻量级的2D+ConvLSTM模型能否在小样本生物医学数据集上有效泛化，避免过拟合？

主要发现

• U-Net2D+ConvLSTM (S)变体实现了最低的骨骼距离误差（5.31 µm），优于3D U-Net（7.53 µm）和2D U-Net（6.53 µm）。
• U-Net2D+ConvLSTM (S)实现了99%的节点覆盖率，显著优于2D U-Net（98%）和3D U-Net（92%）。
• 加权二元交叉熵损失产生了最佳结果，而Dice损失未能学习到稀疏骨骼的有意义表征。
• 增加单个ConvLSTM层仅使模型参数量增加约30%，即可实现3D结构学习，且无需承担3D卷积的计算负担。
• 浅层的U-Net2D+ConvLSTM变体表现出更优性能，可能归因于在小样本数据集上具有更好的泛化能力。
• 定性结果表明，2D U-Net在高密度区域产生了虚假连接，而2D+ConvLSTM模型在3D中正确分离了非连接的血管。