[论文解读] 3D Whole Brain Segmentation using Spatially Localized Atlas Network Tiles

Yuankai Huo, Zhoubing Xu+8 more|arXiv (Cornell University)|Mar 28, 2019

Medical Image Segmentation Techniques参考文献 64被引用 11

一句话总结

该论文提出了一种空间局部化图谱网络块（Spatially Localized Atlas Network Tiles, SLANT）深度学习框架，通过使用多个局部化的3D全卷积网络（3D FCNs）来提升高分辨率全脑分割的性能。通过在多图谱分割生成的辅助标签上进行训练，并将网络分布于空间区域，SLANT在保持优于传统多图谱方法精度的同时，将推理时间从超过30小时缩短至仅15分钟。

ABSTRACT

Detailed whole brain segmentation is an essential quantitative technique, which provides a non-invasive way of measuring brain regions from a structural magnetic resonance imaging (MRI). Recently, deep convolution neural network (CNN) has been applied to whole brain segmentation. However, restricted by current GPU memory, 2D based methods, downsampling based 3D CNN methods, and patch-based high-resolution 3D CNN methods have been the de facto standard solutions. 3D patch-based high resolution methods typically yield superior performance among CNN approaches on detailed whole brain segmentation (>100 labels), however, whose performance are still commonly inferior compared with multi-atlas segmentation methods (MAS) due to the following challenges: (1) a single network is typically used to learn both spatial and contextual information for the patches, (2) limited manually traced whole brain volumes are available (typically less than 50) for training a network. In this work, we propose the spatially localized atlas network tiles (SLANT) method to distribute multiple independent 3D fully convolutional networks (FCN) for high-resolution whole brain segmentation. To address the first challenge, multiple spatially distributed networks were used in the SLANT method, in which each network learned contextual information for a fixed spatial location. To address the second challenge, auxiliary labels on 5111 initially unlabeled scans were created by multi-atlas segmentation for training. Since the method integrated multiple traditional medical image processing methods with deep learning, we developed a containerized pipeline to deploy the end-to-end solution. From the results, the proposed method achieved superior performance compared with multi-atlas segmentation methods, while reducing the computational time from >30 hours to 15 minutes (https://github.com/MASILab/SLANTbrainSeg).

研究动机与目标

• 为克服3D小样本块卷积神经网络（CNN）在全脑分割中的局限性，特别是其性能劣于多图谱分割（MAS）方法的问题。
• 通过在5,111个未标记的扫描上使用多图谱分割生成辅助标签，解决全脑手动标注体积有限（通常少于50个体积）的挑战。
• 通过将独立的3D全卷积网络（FCNs）分布在空间位置而非使用单一全局网络，提升上下文和空间特征学习能力。
• 开发一种可扩展的容器化流程，将深度学习与传统医学图像处理相结合，实现端到端部署。

提出的方法

• SLANT方法部署多个独立的3D全卷积网络（FCNs），每个网络专门针对大脑的固定空间区域，以学习局部上下文信息。
• 每个网络在其指定空间位置的高分辨率小样本块上进行训练，从而精确建模局部解剖结构。
• 通过在5,111个先前未标记的MRI扫描上使用多图谱分割生成辅助训练标签，将训练数据扩展至远超有限的手动勾画体积的数量。
• 开发了容器化流程，将传统医学图像处理（如基于图谱的配准）与深度学习推理相结合，实现端到端部署。
• 该方法利用空间局部化，解耦空间与上下文特征学习，减轻单个网络同时捕捉两者负担。
• 通过聚合所有空间分布网络的预测结果完成模型推理，确保全脑的完整覆盖分割。

实验结果

研究问题

• RQ1 与标准的小样本块CNN相比，空间局部化的3D全卷积网络是否能提升对超过100个标签的全脑结构的分割精度？
• RQ2 当仅拥有有限数量的手动标注扫描时，使用多图谱分割生成的辅助标签进行训练，对深度学习模型性能有何影响？
• RQ3 在不增加计算开销的前提下，将多个独立网络分布在空间区域是否能增强对局部解剖上下文的建模能力？
• RQ4 结合传统多图谱分割与深度学习的混合流程，能在多大程度上减少推理时间，同时保持或提升精度？
• RQ5 容器化、模块化的系统是否能实现在临床和研究环境中可靠且可复现的此类复杂分割流程部署？

主要发现

• SLANT方法在超过100个标签的全脑结构分割中，性能优于传统多图谱分割方法。
• 推理时间从超过30小时缩短至仅15分钟，相比传统多图谱方法实现了120倍的加速。
• 在5,111个未标记扫描上使用多图谱分割生成的辅助标签，有效扩展了有效训练数据，弥补了手动勾画体积稀缺的问题。
• 网络的空间局部化通过使每个网络专注于特定解剖区域，提升了特征学习能力，增强了上下文建模。
• 容器化流程实现了该端到端分割系统的可靠、可复现且可扩展的部署。