[论文解读] Anisotropic EM Segmentation by 3D Affinity Learning and Agglomeration

Toufiq Parag, Fabian Tschopp+7 more|arXiv (Cornell University)|Jul 27, 2017

Advanced Neuroimaging Techniques and Applications参考文献 26被引用 11

一句话总结

本文提出一种用于分割各向异性电子显微镜（EM）数据的3D亲和力学习与聚合方法，采用经MALIS损失训练的3D U-Net预测3D亲和力，以指导过分割及后续的聚合。该方法在各向异性EM图像体积上实现了卓越的分割精度，优于基于膜检测的方法和标准亲和力学习方法，尤其在保持长轴突中神经元拓扑结构方面表现优异。

ABSTRACT

The field of connectomics has recently produced neuron wiring diagrams from relatively large brain regions from multiple animals. Most of these neural reconstructions were computed from isotropic (e.g., FIBSEM) or near isotropic (e.g., SBEM) data. In spite of the remarkable progress on algorithms in recent years, automatic dense reconstruction from anisotropic data remains a challenge for the connectomics community. One significant hurdle in the segmentation of anisotropic data is the difficulty in generating a suitable initial over-segmentation. In this study, we present a segmentation method for anisotropic EM data that agglomerates a 3D over-segmentation computed from the 3D affinity prediction. A 3D U-net is trained to predict 3D affinities by the MALIS approach. Experiments on multiple datasets demonstrates the strength and robustness of the proposed method for anisotropic EM segmentation.

研究动机与目标

• 解决在z方向分辨率较差导致切片间神经元过程重叠的各向异性EM数据中自动3D分割的挑战。
• 克服现有方法依赖2D分割后连接处理的局限性，此类方法常导致过度或不足分割。
• 通过直接从原始EM体积中学习拓扑上重要的3D亲和力，开发一种针对各向异性数据的鲁棒3D过分割方法。
• 通过结合基于深度学习的亲和力预测与凝聚聚类，最小化错误合并与分割，从而提升分割质量。

提出的方法

• 使用MALIS（带稀疏性的多标签亲和力学习）损失函数训练3D U-Net，以预测x、y和z方向的3D亲和力。
• MALIS损失强调在拓扑关键位置学习亲和力，以保持神经元形态，而非同等对待所有像素。
• 通过阈值化与连通域分析方法，从预测的3D亲和力生成初始3D过分割结果。
• 应用凝聚聚类（参考[23]）基于学习到的亲和力合并过分割区域，生成最终分割结果。
• 采用重叠块处理与拼接策略处理大尺寸各向异性体积（如4×4×100 μm³），确保块间一致性。
• 与基于膜概率的分割方法（采用分水岭与聚合）进行对比，通过超参数调优实现速度与精度的平衡。

实验结果

研究问题

• RQ1 通过深度学习实现的3D亲和力学习能否在z方向分辨率较差的各向异性EM数据中产生高质量的过分割？
• RQ2 基于MALIS的亲和力学习是否在保持各向异性体积中神经元拓扑结构方面优于标准亲和力学习？
• RQ3 在各向异性数据中，基于深度学习亲和力的凝聚聚类是否能实现比2D分割加连接方法更高的分割精度？
• RQ4 该方法在大尺寸各向异性体积中长而连续的神经元过程上的表现如何？
• RQ5 与基于膜概率的分割方法相比，该方法是否在最小化错误合并与分割方面更具鲁棒性？

主要发现

• 在6×6×4 μm³测试体积中，所提方法取得了最佳的分裂VI分数，优于所有其他测试方法，包括下采样输入的2/3D U-Net。
• 与标准亲和力学习相比，基于MALIS的亲和力学习显著提升了分割精度，分裂VI曲线显示其在减少不足与过度分割误差方面表现更优。
• 在4×4×100 μm³体积中，该方法成功保持了长神经元过程，仅出现极少数小过程的轻微错误分割，错误合并可忽略不计。
• 基于膜概率的方法显著更易发生不足分割，且仅生成少量类似完整神经元部分的大规模重建。
• 所提方法在标准体积与长过程测试中均表现更优，展现出优异的鲁棒性与可扩展性。