[论文解读] Flood-Filling Networks

Michał Januszewski, Jeremy Maitin-Shepard+4 more|arXiv (Cornell University)|Nov 1, 2016

Advanced Electron Microscopy Techniques and Applications参考文献 18被引用 38

一句话总结

Flood-Filling Networks (FFNs) 引入了一种端到端可训练的循环3D卷积神经网络，通过从种子体素迭代扩展对象掩码，直接从原始3D图像中分割对象，在连接组重建中实现了最先进水平的精度，且零合并错误，优于结合CNN边界检测、分水岭分割和聚集方法的多阶段流水线。

ABSTRACT

State-of-the-art image segmentation algorithms generally consist of at least two successive and distinct computations: a boundary detection process that uses local image information to classify image locations as boundaries between objects, followed by a pixel grouping step such as watershed or connected components that clusters pixels into segments. Prior work has varied the complexity and approach employed in these two steps, including the incorporation of multi-layer neural networks to perform boundary prediction, and the use of global optimizations during pixel clustering. We propose a unified and end-to-end trainable machine learning approach, flood-filling networks, in which a recurrent 3d convolutional network directly produces individual segments from a raw image. The proposed approach robustly segments images with an unknown and variable number of objects as well as highly variable object sizes. We demonstrate the approach on a challenging 3d image segmentation task, connectomic reconstruction from volume electron microscopy data, on which flood-filling neural networks substantially improve accuracy over other state-of-the-art methods. The proposed approach can replace complex multi-step segmentation pipelines with a single neural network that is learned end-to-end.

研究动机与目标

• 通过将边界检测与分割统一到单一端到端可训练网络中，消除传统流水线中两者之间的脱节。
• 实现在3D体数据（如电子显微镜中的神经元过程）中对任意大尺寸对象的分割，且不受网络架构尺寸限制。
• 通过最小化多步骤分割流水线中常见的合并错误，减少连接组重建中的人工错误。
• 用单一统一的神经网络架构替代复杂、多组件的工作流程。

提出的方法

• FFN 使用循环3D卷积网络，处理局部感受野（FoV），并从种子体素迭代扩展对象掩码概率图。
• 输入中专门设置的“对象掩码通道”提供了跨迭代的分割状态显式记忆，使网络能够扩展或细化对象边界。
• 网络在重叠的FoV上迭代应用，当前虚拟分割画布的状态被更新并作为下一步推理的输入反馈。
• 网络通过损失函数进行端到端训练，该损失函数同时惩罚欠分割和过分割，梯度反映跨迭代的累积误差。
• 采用启发式FoV移动策略，根据当前掩码预测中的最大概率方向引导网络感受野在体积中的移动。
• 通过允许可变大小的掩码在多个重叠推理步骤中扩展，该架构支持任意对象尺寸，且网络能随时间学习纠正自身错误。

实验结果

研究问题

• RQ1 单一端到端可训练的神经网络能否在3D图像分析中取代多阶段分割流水线？
• RQ2 深度网络如何在无显式边界检测的情况下，学习在重叠感受野中迭代扩展对象掩码？
• RQ3 具有掩码状态记忆的循环3D卷积能否在连接组分割中实现最先进水平的性能，且合并错误极少？
• RQ4 通过反向传播梯度，网络在迭代掩码扩展过程中自我纠正错误的程度如何？
• RQ5 网络在复杂神经组织环境中的高度可变尺寸和形状对象上是否具备泛化能力？

主要发现

• FFNs 在分割精度上显著优于结合3D CNN边界检测、分水岭分割和基于机器学习的聚集方法（GALA 或 CELIS）的最先进多步流水线。
• FFN 在连接组数据集上实现了零百分比的合并率，表明未发生不同神经元的错误合并，这是现有方法的重大优势。
• 尽管用单一统一架构替代了复杂的手动设计工作流程，FFN 仍优于多步流水线。
• FFNs 的计算成本高于基线流水线（CNN推理为4.6 PFLOP 对比 0.14 PFLOP），主要由于网络深度和在重叠FoV上的重复推理。
• 定性分析表明，整合超微结构特征（如线粒体）或基于距离变换重新加权体素，可能进一步提升分割质量。
• 未来工作旨在降低计算成本，并用学习策略替代启发式FoV移动，可能实现端到端优化和自适应处理。