[论文解读] Learning and Segmenting Dense Voxel Embeddings for 3D Neuron Reconstruction

Kisuk Lee, Ran Lu+2 more|arXiv (Cornell University)|Sep 21, 2019

Cell Image Analysis Techniques参考文献 53被引用 5

一句话总结

本文提出了一种新颖的方法，通过深度度量学习学习到的密集体素嵌入进行3D神经元重建。通过从这些嵌入构建度量图，并应用具有长程亲和力的Mutex Watershed分割，随后进行基于均值嵌入的聚合，该方法在薄神经元突起和自接触结构上实现了最先进（SOTA）的准确性，优于SNEMI3D和CREMI基准上的先前SOTA边界检测网络。

ABSTRACT

We show dense voxel embeddings learned via deep metric learning can be employed to produce a highly accurate segmentation of neurons from 3D electron microscopy images. A "metric graph" on a set of edges between voxels is constructed from the dense voxel embeddings generated by a convolutional network. Partitioning the metric graph with long-range edges as repulsive constraints yields an initial segmentation with high precision, with substantial accuracy gain for very thin objects. The convolutional embedding net is reused without any modification to agglomerate the systematic splits caused by complex "self-contact" motifs. Our proposed method achieves state-of-the-art accuracy on the challenging problem of 3D neuron reconstruction from the brain images acquired by serial section electron microscopy. Our alternative, object-centered representation could be more generally useful for other computational tasks in automated neural circuit reconstruction.

研究动机与目标

• 解决在3D电子显微镜（EM）图像中准确分割密集缠结的神经元的挑战。
• 克服现有边界检测网络在薄神经突起和自接触结构上的局限性。
• 探索将密集体素嵌入作为以物体为中心的表示，以提升连接组学中的分割性能。
• 减少由复杂神经元几何结构（如自接触和分支）引起的系统性分割错误。
• 开发一种可扩展的端到端框架，在真实世界的EM数据集上超越最先进方法。

提出的方法

• 通过深度度量学习训练一个3D卷积神经网络，生成密集体素嵌入，使同一神经元内的体素紧密聚集，而不同神经元间的体素彼此分离。
• 从局部3D补丁内的嵌入计算体素对之间的亲和力，然后在重叠区域进行拼接和混合，以覆盖整个体积。
• 从这些亲和力构建度量图，同时包含短程和长程连接，以捕捉全局结构。
• 在度量图上应用Mutex Watershed算法，利用长程边作为排斥约束，以提高分割精度。
• 通过合并具有相似均值嵌入的候选片段，执行聚合步骤，以纠正由自接触结构引起的系统性分裂错误。
• 整个流程端到端执行，无需微调，复用相同的嵌入网络完成分割和聚合。

实验结果

研究问题

• RQ1 与最先进边界检测网络相比，深度度量学习生成的密集体素嵌入是否能显著提升3D神经元分割的准确性？
• RQ2 在度量图中使用长程亲和力对分割细长和复杂神经元结构的效率如何？
• RQ3 基于均值嵌入的聚合能否有效纠正由自接触结构引起的分割错误？
• RQ4 所提出的以物体为中心的嵌入表示在具有高神经元密度的真实3D EM数据集上是否具有良好泛化能力？
• RQ5 该方法在极细神经突起和复杂分支模式上的错误减少程度如何？

主要发现

• 所提出的方法在SNEMI3D和CREMI基准上实现了最先进性能，优于[5]中领先的边界检测网络。
• 该方法显著减少了在极细神经元突起上的分割错误，而先前方法常在此类结构上失效。
• 使用长程亲和力的Mutex Watershed分割在解析复杂连接模式方面表现出更高精度。
• 基于均值嵌入的聚合成功修复了大部分自接触分裂错误，减少了系统性分割失败。
• 在测试的三个体积数据集上，与基线相比，该方法表现出统计显著性提升（p=0.0014，配对t检验）。
• 尽管由于自接触检测的启发式方法存在局限性，仍存在少量剩余错误，但该方法在真实EM数据上表现出强大的泛化能力和鲁棒性。