[논문 리뷰] Learning and Segmenting Dense Voxel Embeddings for 3D Neuron Reconstruction

Kisuk Lee, Ran Lu외 2명|arXiv (Cornell University)|2019. 09. 21.

Cell Image Analysis Techniques참고 문헌 53인용 수 5

한 줄 요약

이 논문은 깊이 미터러닝을 통해 학습된 조밀한 벽체 임베딩을 사용하여 3D 신경세포 재구성의 새로운 방법을 제안한다. 이러한 임베딩에서 메트릭 그래프를 구성하고, 장거리 유사도를 활용한 Mutex Watershed 분할을 적용한 후, 평균 임베딩 기반의 융합을 통해, 특히 얇은 신경세포 과정과 자기 접촉 모티프에서 최신 기술 수준의 정확도를 달성하며, SNEMI3D 및 CREMI 벤치마크에서 이전 최고 성능을 기록한 경계 검출 네트워크를 능가한다.

ABSTRACT

We show dense voxel embeddings learned via deep metric learning can be employed to produce a highly accurate segmentation of neurons from 3D electron microscopy images. A "metric graph" on a set of edges between voxels is constructed from the dense voxel embeddings generated by a convolutional network. Partitioning the metric graph with long-range edges as repulsive constraints yields an initial segmentation with high precision, with substantial accuracy gain for very thin objects. The convolutional embedding net is reused without any modification to agglomerate the systematic splits caused by complex "self-contact" motifs. Our proposed method achieves state-of-the-art accuracy on the challenging problem of 3D neuron reconstruction from the brain images acquired by serial section electron microscopy. Our alternative, object-centered representation could be more generally useful for other computational tasks in automated neural circuit reconstruction.

연구 동기 및 목표

• 3D 전자현미경(EM) 영상에서 서로 얽히고설킨 밀집된 신경세포를 정확하게 분할하는 데 도전한다.
• 특히 얇은 신경세포 과정과 자기 접촉 모티프에서 기존의 경계 검출 네트워크의 한계를 극복한다.
• 연결성학에서 더 나은 분할 성능을 위해 조밀한 벽체 임베딩을 객체 중심 표현으로 활용해 볼 수 있는지 탐색한다.
• 자기 접촉과 분지 등의 복잡한 신경세포 기하학적 형태로 인한 체계적인 분할 오류를 줄인다.
• 실제 EM 데이터셋에서 최신 기술 수준의 방법을 능가하는 확장 가능한 종단 간 프레임워크를 개발한다.

제안 방법

• 깊이 미터러닝을 통해 3D 컨볼루션 신경망을 훈련시켜, 내부 신경세포 벽체는 가깝게, 외부는 분리시키는 조밀한 벽체 임베딩을 생성한다.
• 지역 3D 패치 내의 벽체 쌍 간의 유사도를 계산하고, 겹치는 영역에서 조합 및 혼합하여 전체 볼륨을 커버한다.
• 이러한 유사도로부터 메트릭 그래프를 구성하여 국소적 및 장거리 연결을 포함하여 전반적인 구조를 포착한다.
• 장거리 간선을 반발력 제약 조건으로 사용하여 메트릭 그래프에 대해 Mutex Watershed 알고리즘을 적용한다.
• 유사한 평균 임베딩을 가진 후보 세그먼트를 융합하여 자기 접촉 모티프로 인한 체계적인 분할 분할 오류를 수정한다.
• 모든 파이프라인은 재학습 없이 종단 간으로 적용되며, 동일한 임베딩 네트워크를 분할 및 융합에 모두 재사용한다.

실험 결과

연구 질문

• RQ1 깊이 미터러닝을 통해 학습된 조밀한 벽체 임베딩이 최신 기술 수준의 경계 검출 네트워크보다 3D 신경세포 분할 정확도를 향상시킬 수 있는가?
• RQ2 메트릭 그래프에서 장거리 유사도의 사용이 얇고 복잡한 신경세포 구조의 분할에 얼마나 효과적인가?
• RQ3 평균 임베딩 기반 융합이 자기 접촉 모티프로 인한 분할 오류를 효과적으로 수정할 수 있는가?
• RQ4 제안된 객체 중심 임베딩 표현 방식이 높은 신경세포 밀도를 가진 실세계 3D EM 데이터셋에 잘 일반화되는가?
• RQ5 이 방법이 매우 얇은 신경세포 과정과 복잡한 분지 패턴에서 오류를 얼마나 줄이는가?

주요 결과

• 제안된 방법은 SNEMI3D 및 CREMI 벤치마크에서 최신 기술 수준의 성능을 달성하며, [5]에서 제시한 선도적 경계 검출 네트워크를 능가한다.
• 이전 방법이 실패하기 쉬운 매우 얇은 신경세포 과정에서 분할 오류가 크게 감소한다.
• 장거리 유사도를 활용한 Mutex Watershed 분할은 특히 복잡한 연결 패턴을 해소하는 데 높은 정밀도를 보인다.
• 평균 임베딩 기반 융합은 대부분의 자기 접촉 분할 오류를 복구하여 체계적인 분할 실패를 줄인다.
• 시험한 3개 볼륨의 데이터셋에서 기준값 대비 통계적으로 유의미한 향상(유의수준 p=0.0014, 대응 t-검정)을 보였다.
• 자기 접촉 탐지의 히우리스틱적 한계로 인해 일부 잔여 오류가 존재하지만, 실세계 EM 데이터에서 강력한 일반화성과 견고성을 보였다.