[论文解读] An Error Detection and Correction Framework for Connectomics

Jonathan Zung, Ignacio Tartavull+2 more|arXiv (Cornell University)|Aug 8, 2017

Cell Image Analysis Techniques参考文献 25被引用 12

一句话总结

本文提出了一种用于连接组学的两阶段深度学习框架，用于检测并校正电子显微镜图像中神经元分割的分裂与合并错误。通过使用3D多尺度卷积网络，该方法首先通过基于掩码的错误图检测错误，然后通过检测器提供的'建议'引导对象掩码修剪来校正错误，相较于基线分割方法显著提升了性能，同时计算成本更低。

ABSTRACT

We define and study error detection and correction tasks that are useful for 3D reconstruction of neurons from electron microscopic imagery, and for image segmentation more generally. Both tasks take as input the raw image and a binary mask representing a candidate object. For the error detection task, the desired output is a map of split and merge errors in the object. For the error correction task, the desired output is the true object. We call this object mask pruning, because the candidate object mask is assumed to be a superset of the true object. We train multiscale 3D convolutional networks to perform both tasks. We find that the error-detecting net can achieve high accuracy. The accuracy of the error-correcting net is enhanced if its input object mask is "advice" (union of erroneous objects) from the error-detecting net.

研究动机与目标

• 为应对由于高精度但仍易出错的自动化分割导致的连接组学中人工校对工作量日益增加的挑战。
• 开发一种可扩展的自动化方法，用于检测3D神经元重建中的分裂与合并错误。
• 通过将错误校正建模为对象掩码修剪来提升分割精度，其中候选掩码是真实对象的超集。
• 通过仅将昂贵的校正操作限制在错误检测器标记为错误的区域，从而降低计算成本。
• 证明错误检测器提供的'建议'可提升错误校正网络的性能。

提出的方法

• 错误检测任务使用3D多尺度卷积网络生成3D错误图，以指示分裂和合并错误，输入包括原始EM图像和候选对象掩码。
• 错误校正任务采用3D多尺度网络，训练目标是生成修剪后的掩码，其中输入掩码是真实对象的超集，从而有效去除错误的体素。
• 当输入不是基线分割掩码，而是错误检测器识别出的所有错误区域的并集时，错误校正网络性能得到提升——该并集被称为'建议'。
• 该框架采用迭代优化：在全体积上应用错误检测，仅在错误概率较高的区域应用错误校正，从而降低计算负载。
• 网络通过在通过数据增强生成的合成错误上进行监督学习进行训练，包括对真实分割结果的任意破坏。
• 系统在2048×2048×256的EM体积上进行评估，性能通过变异信息（VI）分数以及相对于基线的错误数量变化进行衡量。

实验结果

研究问题

• RQ1 深度学习模型能否以高精度检测神经元分割中的分裂与合并错误？
• RQ2 提供'建议'（即检测到的错误区域的并集）是否能提升错误校正网络的性能？
• RQ3 错误检测模块能否通过仅将校正限制在可能出错的区域来降低校正的计算成本？
• RQ4 在错误减少和计算效率方面，该框架与基线分割相比表现如何？
• RQ5 错误检测模块能否用于指导人工校对，或作为端到端分割的弱监督信号？

主要发现

• 错误检测网络即使在未访问原始图像的情况下也能高精度识别分裂与合并错误，表明其具有强大的形状先验能力。
• 当使用错误检测器提供的'建议'时，错误校正网络相较于基线掩码直接输入，修复了707个错误，而后者仅修复了547个错误。
• 引入的错误数量减少至68个（使用'建议'），而未使用'建议'时为77个，表明鲁棒性得到提升。
• 当错误校正步骤被限制在错误检测器识别出的区域时，计算成本降低了10倍，验证了成本节约策略的有效性。
• 该框架对近940个对象中的约800个实现了近乎完美的分割，其余错误主要为树突上缺失的树突棘。
• 计算流水线在单张TitanX Pascal GPU上耗时18分钟完成边界检测，25分钟完成错误检测，55分钟完成错误校正。