[论文解读] Gradient-Domain Processing for Large EM Image Stacks

Michael Kazhdan, Randal Burns+4 more|arXiv (Cornell University)|Sep 30, 2013

Advanced Optical Imaging Technologies参考文献 18被引用 3

一句话总结

本文提出一种两阶段梯度域方法，用于在保持单张切片细节的同时，消除大规模电子显微镜（EM）图像堆栈中的切片间不连续性。该方法沿切片轴方向应用各向异性扩散，随后对每张切片进行屏蔽泊松重建，通过一种新型的外存多网格求解器实现加速，可在12核CPU和45GB内存下于60小时内完成对万亿体素数据集的处理。

ABSTRACT

We propose a new gradient-domain technique for processing registered EM image stacks to remove the inter-image discontinuities while preserving intra-image detail. To this end, we process the image stack by first performing anisotropic diffusion to smooth the data along the slice axis and then solving a screened-Poisson equation within each slice to re-introduce the detail. The final image stack is both continuous across the slice axis (facilitating the tracking of information between slices) and maintains sharp details within each slice (supporting automatic feature detection). To support this editing, we describe the implementation of the first multigrid solver designed for efficient gradient domain processing of large, out-of-core, voxel grids.

研究动机与目标

• 解决由于光照变化、相机参数差异和切片制备伪影引起的大型EM图像堆栈中的切片间不连续性问题。
• 在处理过程中保持单张切片内高频解剖细节的完整性。
• 实现对万亿体素、外存存储的三维体数据的高效、可扩展的梯度域处理。
• 开发一种专用于大规模、外存存储体网格的多网格求解器，以支持梯度域技术。
• 将二维梯度域图像处理方法拓展至三维体数据，应用于连接组学和神经科学领域。

提出的方法

• 该方法首先沿z轴（切片轴）应用各向异性扩散，以平滑切片间的不连续性，同时保留x和y方向的切片内梯度。
• 将各向异性扩散公式化为最小化输出梯度与目标梯度场之间差异的加权L2范数，其中z分量的权重被降低。
• 随后在每张切片内独立求解屏蔽泊松方程，以重新引入原始数据中的高频细节，同时保持切片间的连续性。
• 该解采用加权梯度场，其中z分量被抑制，屏蔽泊松方程在拟合平滑数据与保持原始梯度之间取得平衡。
• 实现了一种新型并行外存多网格求解器，以高效求解屏蔽泊松方程产生的大型线性系统，适用于万亿体素数据集。
• 该求解器支持内存内与基于磁盘的计算，采用自适应V型循环策略和面向大规模体网格的内存高效数据布局。

实验结果

研究问题

• RQ1 梯度域处理是否能有效消除大型EM图像堆栈中的切片间不连续性，同时避免切片内解剖细节的模糊？
• RQ2 如何沿切片轴应用各向异性扩散，以抑制跨切片伪影，同时保留平面内梯度？
• RQ3 在梯度域处理背景下，针对外存存储、大规模三维体网格的多网格求解器在性能和可扩展性方面表现如何？
• RQ4 各向异性扩散与屏蔽泊松重建的结合能否同时实现切片间的连续性与切片内的锐度？
• RQ5 求解器选择（恒定、混合、线性）对处理大规模三维体数据时的收敛速度和运行时间有何影响？

主要发现

• 所提出的两阶段方法成功消除了切片间不连续性，同时保留了精细的解剖细节，通过原始数据、扩散后数据与重建数据的视觉对比得到验证。
• 各向异性扩散阶段将残差范数降低至约4.7×10⁻⁴（AD与SP阶段均适用），其中混合求解器在速度与收敛性之间实现了最佳平衡。
• 多网格求解器在12核CPU和45GB内存下，于60小时内完成对1850×21496×25792 EM堆栈的处理，证明了其对万亿体素数据集的可扩展性。
• 混合多网格求解器在考虑运行时间的前提下，实现了每10⁵秒0.53的残差衰减率，优于恒定和线性变体，效率更高。
• 该方法成功扩展至1920×1080×742视频的非线性滤波，通过抑制小梯度降低噪声，单通道峰值内存占用仅为185 MB。
• 该实现支持通用的梯度域滤波，包括HDR压缩、锐化和非真实感渲染，适用于外存存储的三维数据。