[논문 리뷰] NucMM Dataset: 3D Neuronal Nuclei Instance Segmentation at Sub-Cubic Millimeter Scale

Zudi Lin, Donglai Wei외 13명|arXiv (Cornell University)|2021. 07. 13.

Cell Image Analysis Techniques참고 문헌 37인용 수 27

한 줄 요약

이 논문은 0.1 mm³ 제브라피시 전자현미경(EM) 및 0.25 mm³ 마우스 미세CT(uCT) 데이터를 포함하는 대규모 3D 신경세포핵 인스턴스 세분화 기준점인 NucMM 데이터셋을 소개한다. 각각 170,000개와 7,000개의 세포핵을 포함한다. 또한, 전경 마스크, 윤곽선 지도, 부호 거리 변환을 동시에 학습하는 새로운 3D 하이브리드 표현 모델인 U3D-BCD를 제안한다. 이 모델은 고정밀 인스턴스 세분화를 가능하게 하며, 새로운 기준점에서 최신 기술 대비 상대적 22% 향상된 평균 mAP 성능을 달성한다.

ABSTRACT

Segmenting 3D cell nuclei from microscopy image volumes is critical for biological and clinical analysis, enabling the study of cellular expression patterns and cell lineages. However, current datasets for neuronal nuclei usually contain volumes smaller than $10^{ ext{-}3}\ mm^3$ with fewer than 500 instances per volume, unable to reveal the complexity in large brain regions and restrict the investigation of neuronal structures. In this paper, we have pushed the task forward to the sub-cubic millimeter scale and curated the NucMM dataset with two fully annotated volumes: one $0.1\ mm^3$ electron microscopy (EM) volume containing nearly the entire zebrafish brain with around 170,000 nuclei; and one $0.25\ mm^3$ micro-CT (uCT) volume containing part of a mouse visual cortex with about 7,000 nuclei. With two imaging modalities and significantly increased volume size and instance numbers, we discover a great diversity of neuronal nuclei in appearance and density, introducing new challenges to the field. We also perform a statistical analysis to illustrate those challenges quantitatively. To tackle the challenges, we propose a novel hybrid-representation learning model that combines the merits of foreground mask, contour map, and signed distance transform to produce high-quality 3D masks. The benchmark comparisons on the NucMM dataset show that our proposed method significantly outperforms state-of-the-art nuclei segmentation approaches. Code and data are available at https://connectomics-bazaar.github.io/proj/nucMM/index.html.

연구 동기 및 목표

• 복잡한 뇌 구조를 연구하기에 적합한 대규모, 다중 모odal 3D 신경세포핵 데이터셋의 부족 문제를 해결하기 위해.
• 기존의 신경세포핵 데이터셋보다 훨씬 큰 부피 크기와 인스턴스 수를 갖춘 기준점 데이터셋을 구축하기 위해.
• 다양한 영상 모달리티에서 고밀도, 저대trast, 다양한 형태의 세포핵을 다룰 수 있는 강력한 3D 인스턴스 세분화 모델을 개발하기 위해.
• EM 및 uCT 데이터에서 대규모 3D 신경세포핵 세분화로 인해 발생하는 새로운 과제를 정량적으로 분석하기 위해.
• NucMM 데이터셋을 활용하여 3D 신경세포핵 인스턴스 세분화 분야의 새로운 최고 기준점을 설정하기 위해.

제안 방법

• NucMM 데이터셋은 두 가지 완전히 애너테이션 처리된 3D 볼륨으로 구성되어 있다: 약 170,000개의 세포핵을 포함하는 0.1 mm³ 랄바이얼 제브라피시 뇌의 전자현미경(EM) 볼륨과 약 7,000개의 세포핵을 포함하는 0.25 mm³ 마우스 시각 피질의 미세CT(uCT) 볼륨이다.
• 제안된 U3D-BCD 모델은 3D U-Net 아키텍처를 사용하여 세 가지 표현을 동시에 예측한다: 전경 마스크, 인스턴스 윤곽선 지도, 부호 거리 변환.
• 추론 과정에서 다중 타겟 워터셰그 분할 알고리즘이 세 예측 결과를 통합한다: 높은 전경 확률과 낮은 윤곽선 확률을 가지며, 거리 값이 높은 영역에서 시드 포인트를 식별하고, 부호 거리 지도가 정확한 인스턴스 경계 탐지에 기여한다.
• 모델은 확률적 경사 하강법(SGD)을 사용하여 훈련되며, 코사인 학습률 감쇠와 함께 밝기, 뒤집기, 회전, 탄성 변형, 부분 손실 등의 데이터 증강 기법을 적용한다.
• 부호 거리 변환은 고정된 파라미터 α=8 및 β=50를 사용하여 스케일링되며, 표현 간 일관성을 활용하여 시드 포인트 탐지의 강건성을 향상시킨다.
• 해석 과정은 전경 확률(τ4)과 거리 값(τ5)에 대한 임계치에 민감하며, 이는 부호 거리 지도가 물체 구조를 정확히 포착하는 데 핵심적인 역할을 한다는 것을 시사한다.

실험 결과

연구 질문

• RQ1 EM 및 uCT 모달리티에서 특히, 3D 신경세포핵 인스턴스 세분화에 있어 서브 큐빅 밀리미터 스케일에서의 주요 과제는 무엇인가?
• RQ2 전경 마스크, 윤곽선 지도, 부호 거리 변환을 포함한 다중 표현 학습의 조합이 단일 표현 모델 대비 세분화 성능을 어떻게 향상시키는가?
• RQ3 부호 거리 변환의 포함이 고밀도, 저대비 세포핵 영역에서 인스턴스 경계 탐지의 정확성과 강건성에 어느 정도 기여하는가?
• RQ4 제안된 U3D-BCD 모델은 대규모, 다양한 3D 신경세포핵 데이터에서 최신 기술 대비 인스턴스 세분화 성능에서 어떻게 비교되는가?
• RQ5 특히 부호 거리 지도 및 시드 포인트 탐지와 관련된 해석 하이퍼파rameter의 민감도와 최적 설정은 무엇인가?

주요 결과

• NucMM 데이터셋은 이전의 신경세포핵 데이터셋보다 부피 크기와 인스턴스 수가 각각 2개 정도 더 크며, 0.1 mm³와 0.25 mm³ 볼륨에 각각 170,000개와 7,000개의 세포핵을 포함한다.
• 제안된 U3D-BCD 모델은 NucMM-Z 볼륨에서 평균 평균 정밀도(mAP) 0.894, NucMM-M 볼륨에서 0.444를 기록하여, 전체 기준점에서 최신 기술 대비 상대적 22% 향상된 성능을 달성한다.
• Cellpose [27]는 NucMM-Z에서 mAP 0.569를 기록했고, StarDist [34]는 0.620을, U3D-BC [33]는 0.670을 기록하여, 제안된 U3D-BCD 모델의 우월성을 입증한다.
• U3D-BCD 모델은 mAP-50 및 mAP-75를 포함한 7개 평가 지표 중 6개에서 1위를 차지하며, NucMM-Z 및 NucMM-M에서 모두 강력한 강건성을 보여준다.
• 민감도 분석 결과, 해석 임계치 τ4(유효 영역의 전경 확률)와 τ5(거리 값 임계치)는 성능에 큰 영향을 미치며, τ4가 0.1에서 0.4로 변화함에 따라 mAP가 0.872에서 0.946로 변화함을 확인하여, 부호 거리 지도가 정확한 세분화에 핵심적인 역할을 한다는 점을 강조한다.
• 모델은 시드 포인트 탐지에 사용되는 임계치 τ1 및 τ2에 대해 상대적으로 민감하지 않으며, 넓은 범위의 값에서 mAP-50 점수가 0.003 이내로 변동함을 확인하여, 시드 포인트 국정의 강건성을 입증한다.