[论文解读] FD-FCN: 3D Fully Dense and Fully Convolutional Network for Semantic Segmentation of Brain Anatomy

Binbin Yang, Weiwei Zhang|arXiv (Cornell University)|Jul 22, 2019

Medical Image Segmentation Techniques参考文献 6被引用 9

一句话总结

该论文提出FD-FCN，一种用于T1加权MRI中皮层下脑结构快速且精确语义分割的3D全连接全卷积网络。通过用下采样瓶颈替代上采样路径，整合具有扩展感受野的重新设计的密集块，并引入光谱坐标以保留空间上下文，FD-FCN在IBSR数据集上实现了89.81%的SOTA Dice分数，单次扫描推理时间仅53秒，其精度与效率均优于FC-DenseNet和DeepNAT。

ABSTRACT

In this paper, a 3D patch-based fully dense and fully convolutional network (FD-FCN) is proposed for fast and accurate segmentation of subcortical structures in T1-weighted magnetic resonance images. Developed from the seminal FCN with an end-to-end learning-based approach and constructed by newly designed dense blocks including a dense fully-connected layer, the proposed FD-FCN is different from other FCN-based methods and leads to an outperformance in the perspective of both efficiency and accuracy. Compared with the U-shaped architecture, FD-FCN discards the upsampling path for model fitness. To alleviate the problem of parameter explosion, the inputs of dense blocks are no longer directly passed to subsequent layers. This architecture of FD-FCN brings a great reduction on both memory and time consumption in training process. Although FD-FCN is slimmed down, in model competence it gains better capability of dense inference than other conventional networks. This benefits from the construction of network architecture and the incorporation of redesigned dense blocks. The multi-scale FD-FCN models both local and global context by embedding intermediate-layer outputs in the final prediction, which encourages consistency between features extracted at different scales and embeds fine-grained information directly in the segmentation process. In addition, dense blocks are rebuilt to enlarge the receptive fields without significantly increasing parameters, and spectral coordinates are exploited for spatial context of the original input patch. The experiments were performed over the IBSR dataset, and FD-FCN produced an accurate segmentation result of overall Dice overlap value of 89.81% for 11 brain structures in 53 seconds, with at least 3.66% absolute improvement of dice accuracy than state-of-the-art 3D FCN-based methods.

研究动机与目标

• 为解决脑部解剖结构分割中的瓶颈问题，开发一种轻量化、高效且精确的3D全卷积网络。
• 在保持高分割精度的同时，提升模型效率并降低训练期间的内存消耗。
• 通过引入光谱坐标实现多尺度上下文与空间上下文的融合，增强密集推理能力。
• 在皮层下结构分割任务中，超越现有基于FCN的方法，在精度与推理速度两方面均表现更优。
• 实现近实时或实时分割，适用于大规模神经影像学研究。

提出的方法

• FD-FCN采用基于下采样的全卷积架构，摒弃上采样与跳跃连接路径，以减少内存占用与训练时间。
• 引入新设计的密集块，可在不导致参数爆炸的情况下跨层聚合特征，提升特征复用率并扩大感受野。
• 在网络瓶颈层引入光谱坐标，以保留空间上下文信息，提升定位精度。
• 将中间层特征嵌入最终预测中，以增强多尺度特征间的一致性，并嵌入细粒度细节。
• 采用基于图像块的训练策略，输入块大小为27³，输出块大小为9³，从而实现在有限GPU内存下的高效训练。
• 模型采用Adam优化器进行端到端训练，学习率采用余弦衰减调度，并在15个周期后启用早停。

实验结果

研究问题

• RQ1 全卷积、全连接的3D网络是否能在保持快速推理与低内存占用的同时，实现更优的分割精度？
• RQ2 用下采样瓶颈替代U型上采样路径，对训练效率与模型性能有何影响？
• RQ3 重新设计的具有扩展感受野的密集块在不增加参数量的前提下，对特征表示的提升程度如何？
• RQ4 引入光谱坐标在提升3D脑部MRI分割中空间上下文信息方面的有效性如何？
• RQ5 所提出的架构是否能在匹配或超越SOTA多任务模型精度的同时，实现近实时分割？

主要发现

• FD-FCN在IBSR数据集的11个皮层下脑结构上实现了89.81%的平均Dice分数，显著优于FC-DenseNet（86.15%），并匹配DeepNAT（89.76%）的精度。
• 模型单次扫描的推理时间仅为53秒，远优于DeepNAT的73分钟，同时保持了相近的精度。
• 由于采用高效的基于图像块的训练策略与更低的参数负载，训练时间缩短至每轮约1.5小时，相较FC-DenseNet的每轮3天有显著提升。
• 与无此密集块的基线模型相比，集成重新设计的密集块使Dice分数提升了1.24%。
• 光谱坐标与笛卡尔坐标的引入共同带来1.37%的Dice分数提升，证明其在保留空间上下文方面的有效性。
• 可视化结果表明，FD-FCN生成的分割结果更加平滑、精确，无伪影或异常颗粒，尤其在海马体与脑干等复杂结构上表现更优。