[논문 리뷰] Large-Scale Automatic Reconstruction of Neuronal Processes from Electron Microscopy Images

Verena Kaynig, Amelio Vázquez-Reina외 7명|arXiv (Cornell University)|2013. 03. 28.

Cell Image Analysis Techniques인용 수 8

한 줄 요약

이 논문은 시리얼 섹션 전자현미경(EM) 영상에서 신경세포 과정의 대규모 3차원 재구성을 위한 확장 가능하고 반자동화된 파이프라인을 제시한다. 랜덤 포레스트 분류기와 조건부 랜덤 필드, 세분화 융합을 조합하여 최신 기술 수준의 성능을 달성한다. 희소 사용자 앵커파일을 사용하여 27,000 μm³의 체내 뇌 조직을 자동으로 재구성하였으며, 이는 1,000개 이상의 섹션에 해당한다. 새로운 검토 도구인 Mojo를 통해 희소 스케치를 이용해 융합 오류를 효율적으로 수정할 수 있다.

ABSTRACT

Automated sample preparation and electron microscopy enables acquisition of very large image data sets. These technical advances are of special importance to the field of neuroanatomy, as 3D reconstructions of neuronal processes at the nm scale can provide new insight into the fine grained structure of the brain. Segmentation of large-scale electron microscopy data is the main bottleneck in the analysis of these data sets. In this paper we present a pipeline that provides state-of-the art reconstruction performance while scaling to data sets in the GB-TB range. First, we train a random forest classifier on interactive sparse user annotations. The classifier output is combined with an anisotropic smoothing prior in a Conditional Random Field framework to generate multiple segmentation hypotheses per image. These segmentations are then combined into geometrically consistent 3D objects by segmentation fusion. We provide qualitative and quantitative evaluation of the automatic segmentation and demonstrate large-scale 3D reconstructions of neuronal processes from a $\\mathbf{27,000}$ $\\mathbf{\\mu m^3}$ volume of brain tissue over a cube of $\\mathbf{30 \\; \\mu m}$ in each dimension corresponding to 1000 consecutive image sections. We also introduce Mojo, a proofreading tool including semi-automated correction of merge errors based on sparse user scribbles.

연구 동기 및 목표

• 대규모 EM 데이터에서 수동 세분화의 한계를 해결하기 위해 반자동화되고 확장 가능한 3차원 신경세포 과정 재구성을 가능하게 한다.
• 사용자 상호작용을 최소화하기 위해 단지 10장의 수동 앵커파일된 EM 영상으로 랜덤 포레스트 분류기를 훈련시킨다.
• 다양한 세분화 가설을 융합하여 이방향성 EM 데이터에서 기하학적으로 일관된 3차원 재구성을 달성한다.
• 쌍별 블록 매칭을 통해 하위 볼륨을 병렬 처리하여 대규모 처리를 가능하게 한다.
• 희소 사용자 스케치를 이용해 융합 오류를 반자동으로 수정할 수 있는 검토 도구인 Mojo를 개발한다.

제안 방법

• 10장의 1024×1024 픽셀 EM 영상에서 희소 사용자 앵커파일을 기반으로 랜덤 포레스트 분류기를 훈련하여 세포막과 신경세포 과정을 탐지한다.
• 분류기 출력값을 이방향성 스무딩 사전 정보와 함께 조건부 랜덤 필드(CRF) 프레임워크에 통합하여 각 영상에 대해 다수의 세분화 가설을 생성한다.
• 세분화 융합을 적용하여 가설들을 기하학적으로 일관된 3차원 신경세포 객체로 통합하며, 분지형 상태를 처리하기 위해 확장된다.
• 하위 볼륨을 병렬로 처리하고 쌍별 매칭 기반의 병합 기법을 통해 전체 재구성에서의 전역 일관성을 유지한다.
• Mojo는 희소 사용자 스케치를 이용해 3차원 재구성에서 융합 오류를 식별하고 수정하여 수동 작업량을 줄인다.
• 파이프라인은 컴퓨터 클러스터와 GPU에서 선형 확장 가능하도록 설계되었으며, 성능 최적화를 위해 MATLAB 종속성은 최소화되었다.

실험 결과

연구 질문

• RQ1 희소 사용자 앵커파일을 기반으로 훈련된 랜덤 포레스트 분류기가 대규모 EM 데이터에서 높은 정확도로 세포막을 탐지할 수 있는가?
• RQ2 다수의 세분화 가설을 기반으로 한 CRF 융합이 이방향성 EM 데이터에서 기하학적으로 일관된 3차원 신경세포 재구성을 가능하게 하는가?
• RQ3 세분화 융합 기법을 복잡한 분지형 상태의 신경세포 과정을 처리할 수 있도록 확장할 수 있는가?
• RQ4 하위 볼륨의 병렬 처리와 일관된 전역 병합을 통해 대규모 재구성을 달성할 수 있는가?
• RQ5 희소 스케치를 이용한 반자동 검토 도구가 3차원 재구성에서 융합 오류를 수정하기 위한 노력의 양을 크게 줄일 수 있는가?

주요 결과

• 단지 10장의 수동 앵커파일된 EM 영상만으로도 최신 기술 수준의 재구성 성능를 달성하여 앵커파일 부담을 크게 줄였다.
• 이 방법은 27,000 μm³의 체내 뇌 조직을 성공적으로 재구성하였으며, 이는 1,000개의 섹션에 해당하는 30 μm³의 큐브에 해당한다. 이는 일반적으로 염색된 체내 뇌 조직에서 기록된 바 없는 가장 큰 자동 재구성 사례이다.
• 시냅스 목은 여러 섹션에 걸쳐 재구성되었지만 일부 분할 현상이 발생했으며, 검토 과정을 통해 분할 오류가 감소하였다. 일부 시냅스는 단 한 번의 수정만으로도 해결되었다.
• 장거리 융합 오류, 예를 들어 하나의 세포체가 여러 개의 과정과 융합된 경우 등은 3차원 기하학적 특성으로 탐지 가능했으며, Mojo를 통해 수정이 가능했다.
• 세분화 융합 기법은 얇고 고곡률 영역인 시냅스 목과 같은 영역에서도 수 마이크론에 걸쳐 연속적인 신경세포 과정을 성공적으로 재구성하였다.
• 파이프라인은 프로세서 수에 따라 선형 확장 가능성을 보였으며, 클러스터와 GPU에서 효율적인 처리가 가능했다.