[论文解读] Single Neuron Segmentation using Graph-based Global Reasoning with Auxiliary Skeleton Loss from 3D Optical Microscope Images

Heng Wang, Yang Song+5 more|arXiv (Cornell University)|Jan 22, 2021

Cell Image Analysis Techniques参考文献 21被引用 4

一句话总结

本文提出一种基于图的全局推理网络，并引入辅助骨架损失，用于3D光学显微镜图像中的单神经元分割。通过学习空间注意力图以从特征图构建全局图，并整合强调管状结构保持的复合损失，该方法在3D U-Net和MKF-Net基线模型之上提升了分割精度，在Janelia数据集上实现了最先进性能。

ABSTRACT

One of the critical steps in improving accurate single neuron reconstruction from three-dimensional (3D) optical microscope images is the neuronal structure segmentation. However, they are always hard to segment due to the lack in quality. Despite a series of attempts to apply convolutional neural networks (CNNs) on this task, noise and disconnected gaps are still challenging to alleviate with the neglect of the non-local features of graph-like tubular neural structures. Hence, we present an end-to-end segmentation network by jointly considering the local appearance and the global geometry traits through graph reasoning and a skeleton-based auxiliary loss. The evaluation results on the Janelia dataset from the BigNeuron project demonstrate that our proposed method exceeds the counterpart algorithms in performance.

研究动机与目标

• 解决单神经元分割中3D神经元图像存在噪声和碎片化的问题。
• 通过捕捉3D卷积神经网络局部感受野之外的长程结构依赖关系，提升分割性能。
• 通过新型辅助损失，保留神经元树突分支的全局管状几何结构。
• 相比堆叠多尺度卷积，降低计算成本，同时增强全局特征学习能力。
• 在BigNeuron的Janelia数据集上实现端到端训练，并取得更优性能。

提出的方法

• 利用可学习的空间注意力图，从特征图构建图，以定义节点与体素之间的关系。
• 使用图卷积网络（GCN）聚合整个特征图中的长程依赖关系，实现全局推理。
• 引入全局信息推理（GIR）模块，通过跳跃连接将局部特征与全局聚合表示相结合。
• 采用新型自适应复合损失，结合交叉熵损失与基于骨架的损失，同时指导体素级分类与管状结构学习。
• 对预测的概率图应用高斯滤波，以优化边界预测并增强结构连续性。
• 以3D U-Net作为主干网络，在编码器-解码器多个层中插入GIR模块，以捕捉多尺度全局上下文。

实验结果

研究问题

• RQ1 基于图的全局推理是否能通过建模管状结构中的长程连通性，提升3D神经元分割性能？
• RQ2 辅助骨架损失是否能增强分割过程中神经元树突分支几何结构的保持？
• RQ3 全局推理能否在不引起参数过度增长的前提下，高效地应用于多层网络？
• RQ4 与3D U-Net和MKF-Net相比，该方法在真实3D神经元图像上的F1分数、精确率和召回率表现如何？
• RQ5 各组件（GIR模块、复合损失、滤波）对最终分割性能的贡献分别是什么？

主要发现

• 该方法在Janelia数据集上实现了0.5183 ± 0.1410的平均F1分数，优于3D Res-U-Net（0.5054 ± 0.1377）和3D Res-MKF-Net（0.5004 ± 0.1394）。
• 与3D Res-U-Net相比，F1分数提升超过2%，仅使用GIR模块时平均F1分数提升1.03%。
• 自适应复合损失贡献显著，相比无该损失的模型（0.5004 vs. 0.5157），F1分数提升超过1%。
• 可视化结果表明，所提方法生成的神经元骨架更完整、更连续，间隙更少，噪声更少。
• 消融实验确认，GIR模块与复合损失均不可或缺，其中GIR模块使性能较基线提升1.05%。
• 该方法参数量显著少于3D Res-MKF-Net，同时性能更优，表明其在全局特征学习方面具有更高效率。