[论文解读] Superhuman Accuracy on the SNEMI3D Connectomics Challenge

Kisuk Lee, Jonathan Zung+3 more|arXiv (Cornell University)|May 31, 2017

Wireless Body Area Networks参考文献 22被引用 222

一句话总结

作者训练了具有长程亲和性预测的新颖数据增强的残差对称 3D U-Net，以超越 SNEMI3D 在分割电子显微镜脑图像上的人工水平，并通过平均亲和性聚合作为快速后处理步骤来实现。

ABSTRACT

For the past decade, convolutional networks have been used for 3D reconstruction of neurons from electron microscopic (EM) brain images. Recent years have seen great improvements in accuracy, as evidenced by submissions to the SNEMI3D benchmark challenge. Here we report the first submission to surpass the estimate of human accuracy provided by the SNEMI3D leaderboard. A variant of 3D U-Net is trained on a primary task of predicting affinities between nearest neighbor voxels, and an auxiliary task of predicting long-range affinities. The training data is augmented by simulated image defects. The nearest neighbor affinities are used to create an oversegmentation, and then supervoxels are greedily agglomerated based on mean affinity. The resulting SNEMI3D score exceeds the estimate of human accuracy by a large margin. While one should be cautious about extrapolating from the SNEMI3D benchmark to real-world accuracy of large-scale neural circuit reconstruction, our result inspires optimism that the goal of full automation may be realizable in the future.

研究动机与目标

• 在 SNEMI3D 基准上提升 EM 图像的自动化神经元分割，超越人工性能。
• 开发能模拟现实成像缺陷的训练增强，以提升鲁棒性。
• 探索辅助任务（长程亲和性）以改善最近邻亲和性预测。
• 使用后处理（均值亲和性聚合）在不进行大规模测试时增强分割准确性。

提出的方法

• 提出一种残差对称 U-Net 变体，使用相同卷积和跳跃连接进行精准的 3D EM 分割。
• 在最近邻体素之间的亲和性进行训练，并作为辅助目标沿基数轴预测长程体素亲和性。
• 用仿真图像缺陷进行数据增强：错位、缺失截面和模糊截面。
• 应用重叠混合推理以缓解边界效应；可选地使用测试时的数据增强（旋转/镜像）并将均值亲和性聚合作为后处理。
• 使用 1x160x160x18 的输入补丁，采用带类别再平衡的二元交叉熵和 Adam 优化器进行训练；最终分割通过边缘加权的分水岭再进行均值亲和性聚合。

实验结果

研究问题

• RQ1 一个具有广泛三维上下文且经过增强训练数据的三维卷积网络是否能够超越 SNEMI3D 的人工精度？
• RQ2 辅助的长程亲和性预测是否能提升最近邻亲和性预测这一本任务？
• RQ3 训练时的增强和后处理技术如何影响分割性能以及对成像缺陷的鲁棒性？
• RQ4 均值亲和性聚合是否在实践中比繁重的测试时增强更具竞争力且推理开销更低？

主要发现

分组名称	Rand 误差	可训练参数	测试时增强	备注
Ours (test-time aug.)	0.02576	1.5M	16 variants	Top SNEMI3D performance (leaderboard)
Ours (test-time aug.)	0.02590	1.5M	8 variants	Reduced variant with still strong performance
Ours (mean affinity aggl.)	0.03332	1.5M	1 variant	Mean affinity agglomeration postprocessing
Human values	0.05998	–	–	Estimated human accuracy on leaderboard
DIVE	0.06015	18M × 3 models	16 variants × 3 models	Previous leading entry
IAL	0.06561	35M	20 variants	Previous leading entry

• 在进行测试时增强的最佳提交在 SNEMI3D 上达到 Rand 误差 0.02576，超过报道的人类准确度 0.05998。
• 另一种带测试时增强的变体（8 种变体）达到 0.02590 Rand 误差。
• 仅使用均值亲和性聚合即可达到 0.03332 Rand 误差，且无测试时增强。
• 在人类基线上的值在 SNEMI3D 为 0.05998 Rand 误差，竞争方法 DIVE 与 IAL 分别达到 0.06015 和 0.06561。
• 结合长程亲和性和全面数据增强的训练在基线基础上显著提高了模型性能。
• 测试时增强带来较大提升（推理成本提高 8-16 倍），而均值亲和性聚合在较低推理开销下提供强劲增益。