[论文解读] Deep Learning Convolutional Networks for Multiphoton Microscopy Vasculature Segmentation

Petteri Teikari, Marc Ericson C. Santos+2 more|arXiv (Cornell University)|Jun 8, 2016

Cell Image Analysis Techniques参考文献 117被引用 43

一句话总结

本论文提出了一种混合2D-3D卷积神经网络（ConvNet）用于在双光子显微镜图像中实现血管的自动分割，利用了12个已标注的小鼠和人类肿瘤脑体积的公开共享数据集。该方法基于ZNN框架并针对CPU进行优化，实现了对体素数据的稳健血管分割，展现出在迁移学习和开放协作方面的潜力。

ABSTRACT

Recently there has been an increasing trend to use deep learning frameworks for both 2D consumer images and for 3D medical images. However, there has been little effort to use deep frameworks for volumetric vascular segmentation. We wanted to address this by providing a freely available dataset of 12 annotated two-photon vasculature microscopy stacks. We demonstrated the use of deep learning framework consisting both 2D and 3D convolutional filters (ConvNet). Our hybrid 2D-3D architecture produced promising segmentation result. We derived the architectures from Lee et al. who used the ZNN framework initially designed for electron microscope image segmentation. We hope that by sharing our volumetric vasculature datasets, we will inspire other researchers to experiment with vasculature dataset and improve the used network architectures.

研究动机与目标

• 解决多光子显微镜血管分割领域缺乏标准化、公开可用的标注数据集的问题。
• 开发一种基于深度学习的方法，实现对3D双光子显微镜图像堆栈中血细胞的精确、自动分割。
• 通过共享预训练网络和标注数据，实现迁移学习和领域自适应，以减轻标注负担。
• 通过在协作式开源框架中发布代码和数据，促进可重复性和开放科学。
• 改进神经科学和生物医学研究中目前使用的手动和半自动分割流程。

提出的方法

• 基于最初为电子显微镜设计的ZNN框架，适配了一种基于2D-3D混合ConvNet架构。
• 通过结合2D和3D卷积滤波器进行网络训练，以捕捉局部纹理和体素结构。
• 通过在新多光子血管数据集上微调预训练网络，应用迁移学习以降低训练成本。
• 在分割前对图像进行去噪和预处理，以提高输入质量。
• 使用专家标注的图像堆栈的像素级真实标签来训练监督分割模型。
• 使用Python和ITK兼容包装器，以可重复的开源格式发布完整训练代码和数据集。

实验结果

研究问题

• RQ1 混合2D-3D ConvNet架构是否能在3D双光子显微镜图像堆栈中实现稳健且准确的血管分割？
• RQ2 在有限的多光子显微镜数据上微调预训练网络时，迁移学习的效率如何？
• RQ3 公开共享的标注数据集在多大程度上能加速多光子血管分割领域的研究？
• RQ4 像ZNN这样的CPU优化框架能否在该任务中实现与GPU基深度学习框架相当的性能？
• RQ5 与现有手动和半自动分割技术相比，该方法在准确性和可重复性方面表现如何？

主要发现

• 该混合2D-3D ConvNet在12个已标注的双光子显微镜图像堆栈上取得了令人满意的分割结果，展现出在体素数据上的强大泛化能力。
• 通过迁移学习使用预训练网络成功训练了该框架，显著减少了从零开始大规模标注的需求。
• 作者发布了12个已标注的3D血管堆栈的公开可用数据集，解决了该领域的一个主要瓶颈。
• 基于ZNN的实现版本在CPU上实现了具有竞争力的性能，使该方法无需高端GPU硬件即可使用。
• 开源代码和数据共享模式促进了可重复性，并鼓励未来在多光子图像分析领域的合作。
• 该方法能够实现对血管形态和动态过程（如染料渗漏）更精确的量化，支持神经血管耦合和血脑屏障完整性相关研究。