[论文解读] Combinatorial Energy Learning for Image Segmentation

Jeremy Maitin-Shepard, Viren Jain+3 more|arXiv (Cornell University)|Jun 13, 2015

Cell Image Analysis Techniques参考文献 23被引用 10

一句话总结

本文提出组合能量学习图像分割（CELIS）方法，一种基于深度神经网络能量函数的端到端深度学习框架，通过整合形状与图像特征来建模分割质量。通过利用组合剪枝与增量更新技术高效优化超像素聚合过程，CELIS在110亿个体素的3D显微镜数据集上相比最先进基线方法，将体积分割精度提升了20%以上。

ABSTRACT

We introduce a new machine learning approach for image segmentation that uses a neural network to model the conditional energy of a segmentation given an image. Our approach, combinatorial energy learning for image segmentation (CELIS) places a particular emphasis on modeling the inherent combinatorial nature of dense image segmentation problems. We propose efficient algorithms for learning deep neural networks to model the energy function, and for local optimization of this energy in the space of supervoxel agglomerations. We extensively evaluate our method on a publicly available 3-D microscopy dataset with 25 billion voxels of ground truth data. On an 11 billion voxel test set, we find that our method improves volumetric reconstruction accuracy by more than 20% as compared to two state-of-the-art baseline methods: graph-based segmentation of the output of a 3-D convolutional neural network trained to predict boundaries, as well as a random forest classifier trained to agglomerate supervoxels that were generated by a 3-D convolutional neural network.

研究动机与目标

• 为解决现有图像分割流程中组合推理与基于形状的准则利用不足的问题。
• 开发一种可扩展、可微分的能量基模型，用于密集3D分割，整合形状与图像特征。
• 通过增量式、剪枝计算实现对超像素聚合的高效优化。
• 在包含250亿个体素真实标注的大规模3D显微镜数据集上评估该方法，以反映真实连接组学工作负载。

提出的方法

• 提出一种全局、平移不变的能量模型 E(S; I)，利用深度神经网络计算局部能量项，以评分分割质量。
• 引入连通区域数据结构，高效表示并更新聚合过程中的分割状态。
• 采用二值化形状描述符，紧凑编码超像素边界周围的3D形状构型。
• 采用拼接神经网络架构，将预训练3D CNN的特征与全连接网络结合，用于评分分割结果。
• 提出一种新颖的训练流程，利用分割内部成对物体关系来学习能量函数。
• 通过定理2、3、4和6实施计算剪枝，将形状描述符计算量降低高达80%，从而实现可扩展的聚合过程。

实验结果

研究问题

• RQ1 基于深度神经网络的能量函数能否通过联合建模形状与图像特征，提升3D图像分割精度？
• RQ2 在大规模3D分割中，如何高效优化超像素聚合的组合推理？
• RQ3 形状描述符与剪枝技术在多大程度上可降低计算成本而不损失精度？
• RQ4 CELIS在真实世界、大规模连接组学数据集上与最先进方法相比表现如何？

主要发现

• 与两种最先进基线方法（基于图的分割与随机森林聚合）相比，CELIS在110亿个体素测试集上将体积分割重建精度提升了20%以上。
• 剪枝技术的应用使计算的形状描述符数量最多减少80%，显著降低运行时间且开销可忽略不计。
• 通过批量处理描述符计算并结合动作评分与连通分量的增量更新，实现了显著的计算节省。
• 基于实际变化的描述符计算下限与剪枝策略结果高度吻合，表明接近最优的计算效率。
• 所提出的能量模型在不同3D显微镜数据上泛化能力良好，已在训练数据集100³大小的子集上得到验证。
• 通过拼接神经网络架构整合形状描述符与图像特征，相比仅依赖边界预测或像素级分类的方法，实现了更精确的分割结果。