[论文解读] Large-scale image segmentation based on distributed clustering algorithms

Ran Lu, Aleksandar Zlateski+1 more|arXiv (Cornell University)|Jun 21, 2021

Medical Image Segmentation Techniques参考文献 11被引用 9

一句话总结

本文提出了一种用于大规模3D图像分割的分布式、递归聚类算法，通过在非重叠或重叠的块中并行处理超体素，同时保持全局一致性。通过推迟靠近块边界的区域的合并决策，并在更大尺度上重新应用该算法，该方法实现了对1350亿个超体素、1.5万亿条亲和力边的全脑电子显微镜图像的可证明正确分割，避免了因逐块处理而引入的错误。

ABSTRACT

Many approaches to 3D image segmentation are based on hierarchical clustering of supervoxels into image regions. Here we describe a distributed algorithm capable of handling a tremendous number of supervoxels. The algorithm works recursively, the regions are divided into chunks that are processed independently in parallel by multiple workers. At each round of the recursive procedure, the chunk size in all dimensions are doubled until a single chunk encompasses the entire image. The final result is provably independent of the chunking scheme, and the same as if the entire image were processed without division into chunks. This is nontrivial because a pair of adjacent regions is scored by some statistical property (e.g. mean or median) of the affinities at the interface, and the interface may extend over arbitrarily many chunks. The trick is to delay merge decisions for regions that touch chunk boundaries, and only complete them in a later round after the regions are fully contained within a chunk. We demonstrate the algorithm by clustering an affinity graph with over 1.5 trillion edges between 135 billion supervoxels derived from a 3D electron microscopic brain image.

研究动机与目标

• 解决3D图像分割在超出单机内存容量的大型电子显微镜图像堆栈中扩展的挑战。
• 消除在分层聚类流水线中因独立的逐块分割而引入的错误。
• 通过最小化全局协调的分布式、递归聚类实现大规模图像的可证明正确分割。
• 通过支持重叠块并减少残余碎片，实现对云或集群架构的高效处理。

提出的方法

• 该算法将图像划分为空间块，并递归地应用分层聚合，每级将块大小加倍，直到覆盖整个图像。
• 触及块边界的区域被视为“残余”区域，其合并决策被推迟到后期阶段，以确保决策基于完整的局部信息。
• 该方法依赖于满足可约简性条件的链接标准，这允许安全的无序合并，并支持分布式处理。
• 在每块初始聚类之后，收集残余聚类并在更大尺度的块上重新聚类，逐步合并直至形成单一分割。
• 支持重叠块以减少残余碎片数量并改善负载分布，通过树状图中对段的总排序确保拼接正确性。
• 该算法使用类似八叉树的递归结构来管理分块与合并，每一层处理更大的空间区域，并相应地更新边界。

实验结果

研究问题

• RQ1 是否可以在不因分块而引入分割错误的情况下，以分布式方式对大型3D图像堆栈进行分层聚类？
• RQ2 在递归的、分布式的聚类流水线中，如何在合并跨越块边界的区域时保持全局一致性？
• RQ3 在分布式环境中，何种链接标准条件允许集群的安全无序合并？
• RQ4 重叠块在多大程度上可以减少残余碎片数量并提升大规模分割的可扩展性？
• RQ5 是否可能仅通过局部的、逐块处理后递归合并，实现全局正确的分割？

主要发现

• 该算法成功分割了一幅包含1350亿个超体素和超过1.5万亿条边的3D电子显微镜图像，展示了对全脑尺度数据的可扩展性。
• 由于在边界处推迟了合并决策，最终分割在数学上等价于对整个图像进行单体聚类，无论分块方案如何。
• 使用重叠块减少了中间阶段的残余碎片数量，尤其对被块边界截断的大神经元结构有显著改善。
• 由于大碎片中邻居数量众多，暴力搜索不可行，该方法在效率上优于最近邻链方法。
• 通过确保仅在每个阶段合并完全包含的聚类，该算法在分布式执行中保持了正确性，避免了竞争条件和虚假的分裂或合并。
• 该方法可推广至任何满足可约简性条件的链接标准，使其在现有电子显微镜分割流水线中具有广泛适用性。