[论文解读] Automated Alignment of Imperfect EM Images for Neural Reconstruction

Louis K. Scheffer, Bill Karsh+1 more|arXiv (Cornell University)|Apr 22, 2013

Cell Image Analysis Techniques参考文献 7被引用 14

一句话总结

本文提出了一种自动化、可扩展的方法，用于在神经回路重建中对大量不完美的电子显微镜（EM）图像堆栈进行配准，利用仿射变换和可变形网格校正透镜像差、组织收缩、折叠和撕裂等失真。该方法在切片内实现亚像素级配准精度，在切片间实现2–3像素精度，即使在存在图像缺陷和大规模数据集（高达153,000张图像）的情况下，也能实现可靠的神经元追踪。

ABSTRACT

The most established method of reconstructing neural circuits from animals involves slicing tissue very thin, then taking mosaics of electron microscope (EM) images. To trace neurons across different images and through different sections, these images must be accurately aligned, both with the others in the same section and to the sections above and below. Unfortunately, sectioning and imaging are not ideal processes - some of the problems that make alignment difficult include lens distortion, tissue shrinkage during imaging, tears and folds in the sectioned tissue, and dust and other artifacts. In addition the data sets are large (hundreds of thousands of images) and each image must be aligned with many neighbors, so the process must be automated and reliable. This paper discusses methods of dealing with these problems, with numeric results describing the accuracy of the resulting alignments.

研究动机与目标

• 解决因成像伪影和组织切片缺陷导致的在神经回路重建中对数十万张不完美EM图像进行配准的挑战。
• 开发一种自动化、可扩展的配准流程，能够自动处理透镜像差、组织收缩、折叠、撕裂和灰尘等问题，绝大多数情况下无需人工干预。
• 实现高精度配准，足以支持可靠神经元追踪，最大限度减少因错配导致的假阳性，并保持生物学保真度。
• 通过500台计算机的集群高效并行处理大规模EM数据集，实现一天内完成配准。
• 支持灵活的重新处理以及将校正后的标注映射回原始图像块，以支持迭代优化和新的配准工作流。

提出的方法

• 将16位或32位数据转换为8位，以减少内存占用，同时保持信噪比，对EM图像进行归一化处理。
• 利用归一化后的强度直方图和高斯拟合，识别并校正图像间对比度和亮度的差异。
• 通过局部强度和梯度分析自动检测折叠和撕裂，仅在极少数情况下需要人工校正。
• 通过最大化重叠区域的互相关性，计算初始近似图像匹配，然后优化为最优仿射变换。
• 在图像对之间应用可变形网格，以建模非线性失真，从而在精度上超越仿射模型。
• 通过统计阈值和残差分析区分真实匹配与虚假匹配，必要时进行人工调优。

实验结果

研究问题

• RQ1 在存在透镜像差和组织收缩等常见成像伪影的情况下，自动化配准能否实现EM图像堆栈的亚像素级精度？
• RQ2 该方法在处理切片组织中的折叠和撕裂方面效果如何，需要多少人工干预？
• RQ3 图像重叠量达到何种程度可确保自动匹配的可靠性，避免误匹配或漏匹配？
• RQ4 该配准流程在多大程度上可实现并行化和可扩展性，以处理大规模数据集（如153,000张图像）而性能不下降？
• RQ5 该配准框架在不进行重大修改的情况下，能否适配其他成像模式（如光学显微镜或扫描电镜）？

主要发现

• 在5%图像重叠条件下，方法实现了完全自动配准，无误匹配或漏匹配，支持稳健重建。
• 在低重叠情况（1%）下，需对切片内重叠区域进行人工参数调优，但系统仍保持高精度。
• 仿射配准在切片内典型均方根残差小于1像素，在切片间为3–4像素。
• 应用可变形网格校正后，切片内配准精度达到亚像素水平，切片间精度达到2–3像素。
• 最大的残差误差（高达500像素）由起始或结束于切片内部的折叠引起，经人工延长后减少至100–200像素。
• 由切削伪影引起的非仿射失真偶尔导致大误差（数百像素），但此类情况罕见，且不影响人工校对。