[论文解读] Large-Scale Automatic Reconstruction of Neuronal Processes from Electron Microscopy Images

Verena Kaynig, Amelio Vázquez-Reina+7 more|arXiv (Cornell University)|Mar 28, 2013

Cell Image Analysis Techniques被引用 8

一句话总结

本文提出了一种可扩展的半自动流水线，用于从串行切片电子显微镜（EM）图像中大规模重建神经元结构，结合随机森林分类与条件随机场及分割融合技术，实现了最先进性能。该方法仅通过稀疏用户注释即实现了对27,000 μm³哺乳动物脑组织的自动重建——超过1000个切片——并引入一种新型校对工具Mojo，通过稀疏涂抹实现高效合并错误修正。

ABSTRACT

Automated sample preparation and electron microscopy enables acquisition of very large image data sets. These technical advances are of special importance to the field of neuroanatomy, as 3D reconstructions of neuronal processes at the nm scale can provide new insight into the fine grained structure of the brain. Segmentation of large-scale electron microscopy data is the main bottleneck in the analysis of these data sets. In this paper we present a pipeline that provides state-of-the art reconstruction performance while scaling to data sets in the GB-TB range. First, we train a random forest classifier on interactive sparse user annotations. The classifier output is combined with an anisotropic smoothing prior in a Conditional Random Field framework to generate multiple segmentation hypotheses per image. These segmentations are then combined into geometrically consistent 3D objects by segmentation fusion. We provide qualitative and quantitative evaluation of the automatic segmentation and demonstrate large-scale 3D reconstructions of neuronal processes from a $\\mathbf{27,000}$ $\\mathbf{\\mu m^3}$ volume of brain tissue over a cube of $\\mathbf{30 \\; \\mu m}$ in each dimension corresponding to 1000 consecutive image sections. We also introduce Mojo, a proofreading tool including semi-automated correction of merge errors based on sparse user scribbles.

研究动机与目标

• 为解决大规模EM数据中手动分割的瓶颈，实现神经元结构的半自动、可扩展3D重建。
• 通过仅在十个手动标注的EM图像上进行训练，最小化用户交互。
• 通过融合多个分割假设，实现从各向异性EM数据中生成几何一致的3D重建。
• 通过子体积的并行处理与成对块匹配实现大规模处理。
• 开发一种名为Mojo的校对工具，支持通过稀疏用户涂抹实现合并错误的半自动修正。

提出的方法

• 在十个1024×1024像素的EM图像的稀疏用户注释上训练随机森林分类器，以检测膜结构和神经元过程。
• 在条件随机场（CRF）框架中，将分类器输出与各向异性平滑先验结合，为每张图像生成多个分割假设。
• 应用分割融合技术，将假设合并为几何一致的3D神经元对象，并扩展以处理分支结构。
• 通过成对匹配方案并行处理子体积并合并，以保持完整重建中的全局一致性。
• Mojo是一种校对工具，利用稀疏用户涂抹识别并修正3D重建中的合并错误，显著减少人工工作量。
• 该流水线设计为在计算机集群和GPU上实现线性可扩展性，且对MATLAB依赖极少，以优化性能。

实验结果

研究问题

• RQ1 在仅使用稀疏用户注释训练的随机森林分类器，能否在大规模EM数据中实现高精度的膜结构检测？
• RQ2 基于CRF的多个分割假设融合，能否从各向异性EM数据中生成几何一致的3D神经元重建？
• RQ3 分割融合方法能否扩展以处理神经元过程中复杂的分支结构？
• RQ4 通过子体积的并行处理与一致的全局合并，能否实现大规模重建？
• RQ5 使用稀疏涂抹的半自动校对工具能否显著减少修正3D重建中合并错误所需的工作量？

主要发现

• 该流水线仅使用十个手动标注的EM图像即实现了最先进水平的重建性能，显著减轻了标注负担。
• 该方法成功重建了27,000 μm³的哺乳动物脑组织——相当于1,000个切片中30 μm³的立方体——是目前已知最大规模的常规染色哺乳动物组织自动重建。
• 树突棘颈部在多个切片中被重建，尽管存在碎片化现象；校对过程减少了分裂错误，部分树突棘仅需一次修正。
• 长距离合并错误（如单个细胞体与多个过程合并）可通过3D几何结构检测，并利用Mojo进行修正。
• 分割融合方法成功重建了跨越数微米的连续神经元结构，即使在薄且高曲率区域（如树突棘颈部）也表现良好。
• 该流水线在处理器数量上表现出线性可扩展性，可在集群和GPU上高效处理。