[논문 리뷰] Anisotropic EM Segmentation by 3D Affinity Learning and Agglomeration

Toufiq Parag, Fabian Tschopp외 7명|arXiv (Cornell University)|2017. 07. 27.

Advanced Neuroimaging Techniques and Applications참고 문헌 26인용 수 11

한 줄 요약

이 논문은 3D U-Net을 MALIS 손실로 훈련하여 3D 유사도를 예측하고, 이를 통해 이방향 전자현미경(EM) 데이터의 과분할과 후속 융합을 이끄는 방법을 제안한다. 이 방법은 z-해상도가 낮은 이방향 EM 볼륨에서 뉴런의 구조를 잘 유지하면서도, 막 기반 방법과 표준 유사도 학습을 능가하는 뛰어난 분할 정확도를 달성한다.

ABSTRACT

The field of connectomics has recently produced neuron wiring diagrams from relatively large brain regions from multiple animals. Most of these neural reconstructions were computed from isotropic (e.g., FIBSEM) or near isotropic (e.g., SBEM) data. In spite of the remarkable progress on algorithms in recent years, automatic dense reconstruction from anisotropic data remains a challenge for the connectomics community. One significant hurdle in the segmentation of anisotropic data is the difficulty in generating a suitable initial over-segmentation. In this study, we present a segmentation method for anisotropic EM data that agglomerates a 3D over-segmentation computed from the 3D affinity prediction. A 3D U-net is trained to predict 3D affinities by the MALIS approach. Experiments on multiple datasets demonstrates the strength and robustness of the proposed method for anisotropic EM segmentation.

연구 동기 및 목표

• z-해상도가 낮아서 단면 간에 과도하게 겹치는 과정이 발생하는 이방향 EM 데이터에서의 자동 3D 분할 과제를 해결한다.
• 기존 방법이 2D 분할 후 연결을 통해 처리하는 데서 비롯하는 과분할 또는 과소분할 문제를 해결한다.
• 원시 EM 볼륨에서 직접 3D 유사도를 학습함으로써 이방향 데이터에 대한 강력한 3D 과분할 방법을 개발한다.
• 딥러닝 기반 유사도 예측과 융합 클러스터링을 조합하여 잘못된 융합이나 분할을 최소화함으로써 분할 품질을 향상시킨다.

제안 방법

• 3D U-Net을 MALIS(Multi-Label Affinity Learning with Sparsity) 손실 함수로 훈련하여 x, y, z 방향의 3D 유사도를 예측한다.
• MALIS 손실은 모든 픽셀을 동일하게 취급하는 대신, 뉴런 형태를 유지하는 데 중요한 희소한 구조적 핵심 위치에서의 유사도 학습을 강조한다.
• 예측된 3D 유사도를 기반으로 임계값 설정과 연결 성분 분석을 통해 初기 3D 과분할 결과를 생성한다.
• 이전 연구[23]의 방법을 따르며, 학습된 유사도를 기반으로 과분할 영역을 융합하는 계층적 클러스터링을 적용하여 최종 분할 결과를 도출한다.
• 큰 이방향 볼륨(예: 4×4×100 μm³)을 처리하기 위해 겹치는 블록 처리와 스티칭 기법을 사용하여 블록 간 일관성을 유지한다.
• 속도와 정확도를 최적화하기 위해 하이퍼파rameter 조정을 수행한 후, 워터셰드 및 융합 기반의 막 확률 기반 분할과 결과를 비교한다.

실험 결과

연구 질문

• RQ1 딥러닝을 통한 3D 유사도 학습이 z-해상도가 낮은 이방향 EM 데이터에서 고품질의 과분할을 가능하게 하는가?
• RQ2 MALIS 기반 유사도 학습이 표준 유사도 학습보다 이방향 볼륨에서 뉴런의 구조를 더 잘 유지하는가?
• RQ3 딥러닝으로 학습한 유사도를 기반으로 한 계층적 클러스터링이 2D 분할 후 연결 방식보다 이방향 데이터에서 더 높은 분할 정확도를 달성하는가?
• RQ4 제안된 방법은 큰 이방향 볼륨에서 긴 연속적인 신경세포 과정에서 어떻게 성능을 발휘하는가?
• RQ5 제안된 방법은 잘못된 융합이나 분할을 최소화하는 데 있어 막 확률 기반 분할보다 더 강건한가?

주요 결과

• 6×6×4 μm³ 테스트 볼륨에서 제안된 방법은 모든 비교 방법(다운샘플된 입력을 사용한 2/3D U-Net 포함) 중에서 가장 높은 분할-VI 스코어를 기록했다.
• MALIS 기반 유사도 학습은 표준 유사도 학습 대비 분할 정확도를 크게 향상시켰으며, split-VI 곡선상에서 과소분할 및 과분할 오차가 감소한 것으로 나타났다.
• 4×4×100 μm³ 볼륨에서 제안된 방법은 일부 작은 과정에서 약간의 잘못된 분할가 있음에도 불구하고, 긴 신경세포 과정을 거의 손실 없이 유지했다.
• 막 확률 기반 방법은 제안된 방법보다 훨씬 더 심각하게 과소분할되었으며, 큰 재구성 영역이 전체 뉴런의 일부를 형성하는 경우가 거의 없었다.
• 제안된 방법은 표준 테스트 볼륨과 긴 과정 테스트 볼륨 모두에서 뛰어난 성능을 보이며, 강건성과 확장성을 입증했다.