[논문 리뷰] PyTorch Connectomics: A Scalable and Flexible Segmentation Framework for EM Connectomics

Zudi Lin, Donglai Wei외 2명|arXiv (Cornell University)|2021. 12. 10.

Cell Image Analysis Techniques인용 수 27

한 줄 요약

PyTorch Connectomics (PyTC)은 볼륨형 EM 이미지의 시맨틱 및 인스턴스 분할을 위한 오픈 소스 프레임워크로, 확장 가능한 데이터 로딩, 유연한 모델 아키텍처, 다중 타겟 손실, 및 반/자기지도 학습을 가능하게 하며, 최첨단 CREMI 시냅스 간극 결과를 달성합니다.

ABSTRACT

We present PyTorch Connectomics (PyTC), an open-source deep-learning framework for the semantic and instance segmentation of volumetric microscopy images, built upon PyTorch. We demonstrate the effectiveness of PyTC in the field of connectomics, which aims to segment and reconstruct neurons, synapses, and other organelles like mitochondria at nanometer resolution for understanding neuronal communication, metabolism, and development in animal brains. PyTC is a scalable and flexible toolbox that tackles datasets at different scales and supports multi-task and semi-supervised learning to better exploit expensive expert annotations and the vast amount of unlabeled data during training. Those functionalities can be easily realized in PyTC by changing the configuration options without coding and adapted to other 2D and 3D segmentation tasks for different tissues and imaging modalities. Quantitatively, our framework achieves the best performance in the CREMI challenge for synaptic cleft segmentation (outperforms existing best result by relatively 6.1$\%$) and competitive performance on mitochondria and neuronal nuclei segmentation. Code and tutorials are publicly available at https://connectomics.readthedocs.io.

연구 동기 및 목표

• EM connectomics 데이터셋의 규모와 모달리티에 맞춘 확장 가능한 유연한 분할 도구 모음의 필요성에 대응한다.
• 뉴런, 시냅스, 미토콘드리아, 핵을 아우르는 시맨틱 및 인스턴스 분할을 가능하게 하는 모듈식 프레임워크를 제공한다.
• 제한된 라벨과 대용량 비라벨 데이터 활용을 위한 멀티태스크 학습, 반-/자기지도 학습, 구성 가능한 아키텍처를 지원한다.
• 비등방성 2D/3D 데이터 및 다양한 이미징 모달리티를 처리하기 위한 구성 파일을 통한 손쉬운 커스터마이징을 제공한다

제안 방법

• 데이터 모듈(Volume Dataset 및 Tile Dataset)으로 데이터 로딩을 확장하고, 여러 타깃에 대해 2D/3D 또는 혼합 아키텍처를 지원하는 모델 모듈, 분산/비분산 학습 및 다중 GPU 추론을 위한 엔진 모듈, 재현성을 위한 구성 모듈(YACS)로 구성된 모듈형 4-요소 시스템.
• 단일 공유 네트워크에서 여러 손실(예: 전경 마스크, 인스턴스 등고선, 부호화된 거리 변환)을 이용해 다수의 타깃을 학습하는 하이브리드 표현 학습.
• 라벨이 없는 데이터를 활용하기 위한 활성 및 반지도 학습 워크플로우(두 스트림 활성 쿼리; 위양표 라벨을 이용한 자기 학습).
• 비등방성 데이터를 처리하기 위한 단계적 2D-그 후 3D 컨볼루션을 가능하게 하는 유연한 네트워크 아키텍처, U-Net, DeepLab 유사 백본, 혼합 2D/3D 컨볼루션 옵션.
• 비공간적 증강(대비, 밝기, 감마, 누락 부품) 및 공간 증강(재스케일, 정합 오류) 및 테스트 시 증강(최대 16종 variants)을 포함한 데이터 증강.
• DataParallel 또는 DistributedDataParallel로 분산 학습, 전경 밀도를 균형 있게 분할하기 위한 비중첩 데이터 파티셔닝, 대용량 볼륨을 병렬 처리하기 위한 추론 워크플로우를 제공한다

실험 결과

연구 질문

• RQ1 단일 프레임워크가 구성 가능한 다중 타깃 손실을 갖춘 EM connectomics에서 시맨틱 및 인스턴스 분할 작업을 어떻게 동시에 지원할 수 있는가?
• RQ2 확장 가능한 데이터 로딩과 분산 학습이 페타바이트 규모의 EM 데이터셋 분할을 실용적으로 가능하게 하는가?
• RQ3 하이브리드 표현 학습과 반-/자기지도 학습이 라벨 데이터가 적을 때 분할 성능을 향상시키는가?
• RQ4 나노미터 해상도 EM 데이터에 대한 이방성 2D/3D 아키텍처와 혼합 컨볼루션의 효과는 어떠한가?
• RQ5 도전적 connectomics 분할 과제에서 활성 학습과 자기 학습의 이점은 무엇인가?

주요 결과

• PyTC는 CREMI 시냅스 간극 분할에서 최첨단 성능을 달성하며, 반지도 학습이 이전 최상의 결과 대비 전체 CREMI 점수를 6.1% 향상시켰다.
• 시냅스 간극 데이터에서 SSL 접근 방식은 CREMI 제출 중 1위를 차지하고 ADGT, ADF, CREMI 지표에서 기존 방법을 능가한다.
• 미토콘드리아 시맨틱 분할에서 PyTC 기반 모델은 기존 방법을 능가하고 간단한 사후처리로 인간 주석 성능에 근접하거나 초과하는 경우도 있다.
• 미토콘드리아 인스턴스 분할에서 MitoEM에 대한 U3D-BC/U3D-BCD 모델은 경쟁력 있는 AP-75 점수를 달성하고 도전 과제 참가자 중 3위를 차지하여 대규모 인스턴스 분할에서의 효과를 강조한다.
• 신경 핵의에 대해 U3D-BC 및 U3D-BCD 변형이 여러 베이스라인(Cellpose, Stardist)보다 우수하고, 거리 맵 변형에서 상당한 이점을 보인다(전체 AP 약 22% 향상).
• 데이터셋 전반에 걸쳐 PyTC는 볼륨 대 타일 데이터셋의 확장 가능한 데이터 처리, 다중 GPU 학습/추론, 저라벨 구역에서의 이익이 되는 유연한 다중 타깃 학습을 보여준다.