[논문 리뷰] Large-scale image segmentation based on distributed clustering algorithms

Ran Lu, Aleksandar Zlateski외 1명|arXiv (Cornell University)|2021. 06. 21.

Medical Image Segmentation Techniques참고 문헌 11인용 수 9

한 줄 요약

이 논문은 전체 뇌 EM 영상에서 1350억 개의 슈퍼바oxel과 1.5조 개의 에지로 구성된 친화도 그래프를 단일 기계의 메모리 용량을 초과하는 대규모 3D 영상 분할을 위해 분산형, 재귀적 클러스터링 알고리즘을 제안한다. 이 알고리즘은 상호 겹치지 않는 또는 겹치는 청크로 나누어 병렬 처리하면서도 전역 일관성을 유지한다. 경계 근처 영역의 병합 결정을 연기하고 더 큰 청크 스케일에서 알고리즘을 재실행함으로써, 단일 청크 처리에서 발생하는 오류를 피하면서도 증명 가능하게 정확한 분할을 달성한다.

ABSTRACT

Many approaches to 3D image segmentation are based on hierarchical clustering of supervoxels into image regions. Here we describe a distributed algorithm capable of handling a tremendous number of supervoxels. The algorithm works recursively, the regions are divided into chunks that are processed independently in parallel by multiple workers. At each round of the recursive procedure, the chunk size in all dimensions are doubled until a single chunk encompasses the entire image. The final result is provably independent of the chunking scheme, and the same as if the entire image were processed without division into chunks. This is nontrivial because a pair of adjacent regions is scored by some statistical property (e.g. mean or median) of the affinities at the interface, and the interface may extend over arbitrarily many chunks. The trick is to delay merge decisions for regions that touch chunk boundaries, and only complete them in a later round after the regions are fully contained within a chunk. We demonstrate the algorithm by clustering an affinity graph with over 1.5 trillion edges between 135 billion supervoxels derived from a 3D electron microscopic brain image.

연구 동기 및 목표

• 단일 기계의 메모리 용량을 초과하는 대규모 EM 영상 스택에 대한 3D 영상 분할의 확장성을 해결하기 위해.
• 계층적 클러스터링 파이프라인에서 각 청크별로 독립적으로 처리함으로써 유도되는 오류를 제거하기 위해.
• 최소한의 전역 조율로 분산형, 재귀적 클러스터링을 사용하여 대규모 영상의 증명 가능한 정확한 분할을 가능하게 하기 위해.
• 겹치는 청크를 허용하고 잔류 조각 수를 줄임으로써 클라우드 또는 클러스터 아키텍처에서 효율적인 처리를 지원하기 위해.

제안 방법

• 알고리즘은 영상을 공간 청크로 나누고, 각 수준에서 청크 크기를 두 배로 늘리며 계층적 융합을 재귀적으로 적용하여 전체 영상이 커버되도록 한다.
• 청크 경계에 인접한 영역은 '잔류'로 간주되며, 나중 단계에서만 병합되어 지역 정보가 완전할 때 결정이 내려지도록 보장한다.
• 이 방법은 병합 순서에 관계없이 안전하게 병합할 수 있도록 허용하는 가소성 조건을 만족하는 연결 기준에 의존한다. 이는 분산 처리를 가능하게 한다.
• 각 청크별 초기 클러스터링 이후 잔류 클러스터를 수집하고, 더 큰 청크 스케일에서 재클러스터링을 수행하며, 점진적으로 병합하여 최종적으로 하나의 분할을 형성한다.
• 겹치는 청크를 지원하여 잔류 조각 수를 줄이고 로드 분포를 향상시키며, 계층적 분할도중의 조각들을 총순서로 정렬함으로써 스티칭을 보장한다.
• 알고리즘은 각 수준에서 더 큰 공간 영역을 처리하고 경계를 갱신함으로써 청크화 및 병합을 관리하기 위해 재귀적 옥트리 유사 구조를 사용한다.

실험 결과

연구 질문

• RQ1 대규모 3D 영상 스택의 계층적 클러스터링을 청크화로 인한 오류 없이 분산 방식으로 수행할 수 있는가?
• RQ2 재귀적, 분산 클러스터링 파이프라인에서 청크 경계를 가로질러 영역을 병합할 때 전역 일관성을 유지하는 방법은 무엇인가?
• RQ3 분산 환경에서 클러스터의 안전한 비순서 병합을 가능하게 하는 연결 기준의 조건은 무엇인가?
• RQ4 겹치는 청크를 통해 잔류 조각 수를 얼마나 줄일 수 있고, 대규모 분할에서 확장성은 어떻게 향상되는가?
• RQ5 로컬, 청크 단위 처리 후 재귀적 병합을 통해 전역적으로 정확한 분할을 달성할 수 있는가?

주요 결과

• 알고리즘은 1350억 개의 슈퍼바oxel과 1.5조 개 이상의 에지를 가진 3D 전자현미경 영상의 분할에 성공적으로 적용되어 전체 뇌 규모의 데이터에 대한 확장성을 입증했다.
• 경계에서 병합 결정을 연기함으로써, 청크화 방식에 관계없이 최종 분할이 전체 영상에 대한 단일 클러스터링과 증명 가능하게 동일하다.
• 겹치는 청크를 사용함으로써 중간 단계에서 잔류 조각 수가 감소했으며, 특히 청크 경계로 인해 잘린 큰 신경 구조물의 경우 유의미하게 개선되었다.
• 큰 클러스터에서 이웃 수가 많아서 브루트포스 검색이 비효율적이었기 때문에, 이웃 체인 방법에 비해 효율성이 뛰어났다.
• 각 단계에서 완전히 포함된 클러스터만 병합함으로써 분산 실행 중에도 정확성이 유지되어 레이스 컨디션과 허위 분할 또는 병합을 방지한다.
• 이 방법은 가소성 조건을 만족하는 모든 연결 기준에 일반화 가능하므로, 기존 EM 분할 파이프라인에 넓게 적용 가능하다.