[论文解读] Spatially Localized Atlas Network Tiles Enables 3D Whole Brain Segmentation from Limited Data

Yuankai Huo, Zhoubing Xu+7 more|arXiv (Cornell University)|Jun 1, 2018

Advanced Neural Network Applications参考文献 12被引用 8

一句话总结

该论文提出空间局部化图谱网络块（SLANT），一种利用重叠的3D全卷积网络（U-Net变体）在标准MNI图谱空间中分布于子空间的方法，可在有限的人工标注数据下实现高精度全脑分割。通过利用多图谱分割生成的辅助标签进行预训练，并结合标签融合，SLANT在Dice分数上达到最先进水平（平均0.776），并将推理时间从传统MAS方法的30多小时减少至约15分钟。

ABSTRACT

Whole brain segmentation on a structural magnetic resonance imaging (MRI) is essential in non-invasive investigation for neuroanatomy. Historically, multi-atlas segmentation (MAS) has been regarded as the de facto standard method for whole brain segmentation. Recently, deep neural network approaches have been applied to whole brain segmentation by learning random patches or 2D slices. Yet, few previous efforts have been made on detailed whole brain segmentation using 3D networks due to the following challenges: (1) fitting entire whole brain volume into 3D networks is restricted by the current GPU memory, and (2) the large number of targeting labels (e.g., > 100 labels) with limited number of training 3D volumes (e.g., < 50 scans). In this paper, we propose the spatially localized atlas network tiles (SLANT) method to distribute multiple independent 3D fully convolutional networks to cover overlapped sub-spaces in a standard atlas space. This strategy simplifies the whole brain learning task to localized sub-tasks, which was enabled by combing canonical registration and label fusion techniques with deep learning. To address the second challenge, auxiliary labels on 5111 initially unlabeled scans were created by MAS for pre-training. From empirical validation, the state-of-the-art MAS method achieved mean Dice value of 0.76, 0.71, and 0.68, while the proposed method achieved 0.78, 0.73, and 0.71 on three validation cohorts. Moreover, the computational time reduced from > 30 hours using MAS to ~15 minutes using the proposed method. The source code is available online https://github.com/MASILab/SLANTbrainSeg

研究动机与目标

• 为解决因GPU显存限制和标签维度高而导致在有限人工标注全脑MRI扫描上训练3D深度网络的挑战。
• 仅使用45例人工勾画的扫描，提升对超过100个解剖结构的全脑分割精度。
• 相比传统多图谱分割（MAS）方法，后者每例扫描需超过30小时，本方法旨在降低计算时间。
• 将标准图像处理技术（配准、强度归一化、标签融合）与深度学习相结合，实现鲁棒且空间一致的分割。

提出的方法

• 该方法将多个独立的3D U-Net网络（网络块）分布在标准MNI图谱空间中的重叠子空间内，以在GPU显存限制下处理大体积分割任务。
• 每个网络块在大脑的局部区域上进行训练，使用具有133个输出通道的3D全卷积网络，以预测133个解剖标签。
• 利用非局部空间STAPLE（NLSS）多图谱分割方法在5,111例未标注扫描上生成辅助标签，用于预训练网络块。
• 通过基于回归的方法对排序后的强度向量进行图像强度归一化，以实现跨扫描的强度标准化，提升训练稳定性。
• 推理完成后，通过多数投票法在重叠的网络块之间进行标签融合，生成一致的全脑分割结果。
• 在45例人工标注扫描上进行微调，以使预训练模型适应目标解剖结构。

实验结果

研究问题

• RQ1 在有限人工标注数据下，基于多图谱分割生成的辅助标签进行训练的局部化3D全卷积网络，能否实现优于现有方法的全脑分割精度？
• RQ2 与全局3D U-Net或基于图像块的方法相比，在MNI空间中将3D网络分布于重叠子空间是否能提升分割性能？
• RQ3 当训练数据稀缺时，强度归一化和标准配准技术能否增强基于深度学习的分割性能？
• RQ4 与传统多图谱分割相比，该方法在推理时间上的计算效率如何？
• RQ5 对重叠网络块预测结果进行标签融合，是否能提升空间一致性和分割精度？

主要发现

• SLANT-27方法在OASIS队列上实现了0.776 ± 0.012的平均Dice相似系数（DSC），显著优于最先进MAS方法（0.760 ± 0.012）。
• 在Colin27队列上，SLANT-27实现了0.732的平均DSC，优于最佳基线方法（JLF）的0.646，p值< 0.05，具有统计显著性。
• 采用微调的SLANT-27方法将每例扫描的推理时间缩短至约15分钟，而传统MAS方法需超过30小时。
• 在5,111例辅助标注扫描上进行预训练，显著提升了性能，相比仅在45例人工标注扫描上训练，OASIS队列上的平均DSC提高了0.020。
• 在重叠块之间进行标签融合可纠正单个块的误判，如图2所示，错误标签（红色箭头）在最终输出中被成功修正。
• 该方法在多种验证队列（OASIS、Colin27、CANDI）中表现出鲁棒性，三组数据集均实现了稳定且一致的性能提升。