[论文解读] Learning Dense Voxel Embeddings for 3D Neuron Reconstruction.

Kisuk Lee, Ran Lu+2 more|arXiv (Cornell University)|Sep 21, 2019

Cell Image Analysis Techniques参考文献 3被引用 11

一句话总结

本文提出一种基于卷积神经网络生成的密集体素嵌入的深度度量学习方法，实现了从连续切片电子显微镜图像中进行3D神经元重建的最先进性能。通过构建包含短程和长程边的度量图，并利用长程亲和力作为排斥约束进行分割，该方法在细长神经突的分割中表现出高精度，且可复用同一网络以解决复杂自接触结构中的系统性分裂问题。

ABSTRACT

We show dense voxel embeddings learned via deep metric learning can be employed to produce a highly accurate segmentation of neurons from 3D electron microscopy images. A metric graph on an arbitrary set of short and long-range edges can be constructed from the dense embeddings generated by a convolutional network. Partitioning the metric graph with long-range affinities as repulsive constraints can produce an initial segmentation with high precision, with substantial improvements on very thin objects. The convolutional embedding net is reused without any modification to agglomerate the systematic splits caused by complex self-touching' objects. Our proposed method achieves state-of-the-art accuracy on the challenging problem of 3D neuron reconstruction from the brain images acquired by serial section electron microscopy. Our alternative, object-centered representation could be more generally useful for other computational tasks in automated neural circuit reconstruction.

研究动机与目标

• 为解决在3D电子显微镜图像中准确分割神经元的挑战，特别是细长和自接触的神经突结构。
• 开发一种能够捕捉神经元形态中局部与长程结构关系的表征方法。
• 提升对极细神经突的分割精度，这些结构在现有方法中常被错误分割。
• 提供一种可复用的、以物体为中心的表征，适用于更广泛的自动化神经回路重建应用。

提出的方法

• 通过深度度量学习训练卷积神经网络，生成编码3D电子显微镜图像中结构关系的密集体素嵌入。
• 利用学习到的体素嵌入生成的短程和长程边，构建度量图。
• 利用长程亲和力作为排斥约束，对度量图进行分割，以指导分割过程并减少错误分裂。
• 在初始分割后，无需重新训练，直接复用相同的嵌入网络执行凝聚操作，以纠正复杂自接触神经结构中的系统性分裂。
• 该方法利用学习到的嵌入空间定义相似性与分离性标准，用于分割。
• 该方法结合度量学习与图分割，实现高精度、拓扑感知的分割。

实验结果

研究问题

• RQ1 通过度量学习学习到的密集体素嵌入是否能提升从电子显微镜图像中进行3D神经元重建的分割精度？
• RQ2 长程亲和力作为排斥约束在减少错误分裂方面效果如何，特别是在细长神经突中？
• RQ3 相同的嵌入网络是否可在初始分割后有效复用于凝聚精炼？
• RQ4 以物体为中心的嵌入表征在多大程度上优于传统的像素级或区域级方法？
• RQ5 所提出的方法在脑部电子显微镜数据中常见的复杂自接触神经结构上是否具有鲁棒性？

主要发现

• 该方法在具有挑战性的连续切片电子显微镜图像3D神经元重建任务中达到最先进精度。
• 将长程亲和力作为排斥约束显著提升了精度，尤其在极细神经突上表现突出。
• 相同的嵌入网络在无需重新训练的情况下，成功解决了复杂自接触神经结构中的系统性分裂问题。
• 密集体素嵌入表征通过捕捉局部与长程结构上下文，实现了高精度分割。
• 所提出的以物体为中心的表征具有可泛化性，可能在其他自动化神经回路重建任务中具有应用潜力。