[논문 리뷰] Embedding-based Instance Segmentation in Microscopy

Manan Lalit, Pavel Tomančák외 1명|arXiv (Cornell University)|2021. 01. 25.

Cell Image Analysis Techniques참고 문헌 24인용 수 8

한 줄 요약

이 논문은 2D 및 3D 미세소관 영상에 대한 경량이며 엔드 투 엔드의 인스턴스 세그멘테이션 방법인 EmbedSeg를 소개한다. 이 방법은 픽셀 단위의 공간 임베딩과 불확실성 인식 클러스터링을 사용하여 최신 기술 수준의 성능을 달성한다. 다양한 데이터셋에서 기존 방법들을 능가하지만 GPU 메모리는 7 GB 뿐이므로 소비자용 GPU에서도 학습이 가능하다.

ABSTRACT

Automatic detection and segmentation of objects in 2D and 3D microscopy data is important for countless biomedical applications. In the natural image domain, spatial embedding-based instance segmentation methods are known to yield high-quality results, but their utility for segmenting microscopy data is currently little researched. Here we introduce EmbedSeg, an embedding-based instance segmentation method which outperforms existing state-of-the-art baselines on 2D as well as 3D microscopy datasets. Additionally, we show that EmbedSeg has a GPU memory footprint small enough to train even on laptop GPUs, making it accessible to virtually everyone. Finally, we introduce four new 3D microscopy datasets, which we make publicly available alongside ground truth training labels. Our open-source implementation is available at https://github.com/juglab/EmbedSeg.

연구 동기 및 목표

• 복잡하고 비정규적인 형태의 물체를 포함한 2D 및 3D 미세소관 영상에서 효과적인 인스턴스 세그멘테이션 방법의 부족을 해결한다.
• 축에 수직인 경계 상자 방법(예: Mask R-CNN)과 별-볼록성 가정(예: StarDist)의 한계를 극복하여 다양한 형태의 구조를 처리한다.
• 최소한의 GPU 메모리 사용으로 직접 3D 인스턴스 세그멘테이션을 가능하게 하여 일반 하드웨어에서도 접근 가능하게 한다.
• 4개의 고품질 3D 미세소관 데이터셋과 정답 주석을 공개하여 새로운 벤치마크를 제공한다.
• 공간 임베딩과 학습 가능한 클러스터링 대역폭을 사용하여 2D 및 3D 데이터에 일반화 가능한 통합 프레임워크를 개발한다.

제안 방법

• 각 픽셀은 자신이 속한 객체 인스턴스 내 유일한 임베딩 포인트로의 3D 오프셋 벡터를 예측하여 인스턴스별 클러스터링을 가능하게 한다.
• 각 픽셀은 예측된 임베딩의 신뢰도를 추정하는 별도의 불확실성 벡터를 예측하여 노이즈와 모호함에 대한 강건성을 향상시킨다.
• 객체 인스턴스의 고신뢰도 중심을 식별하기 위해 각 픽셀에 대해 시드리스 스코어를 예측한다.
• 오프셋, 불확실성, 시드리스 예측을 위한 공유 인코더와 분할된 헤드를 갖춘 분기형 ERF-Net 아키텍처를 사용한다.
• 임베딩 일관성과 클러스터링 제약 조건을 통해 예측된 마스크와 정답 마스크 간의 IoU를 최대화하는 손실 함수를 최적화하여 학습한다.
• 추론 중에는 예측된 임베딩과 대역폭을 사용하여 클러스터링을 수행하며, 각 클러스터는 하나의 객체 인스턴스에 대응한다.

실험 결과

연구 질문

• RQ1 복잡하고 축에 수직이 아닌 형태의 물체를 포함한 2D 및 3D 미세소관 영상에 대해 임베딩 기반 인스턴스 세그멘테이션을 효과적으로 적용할 수 있는가?
• RQ2 제안된 방법이 2D 및 3D 미세소관 인스턴스 세그멘테이션 벤치마크에서 기존 최신 기술 수준의 기준보다 뛰어나게 성능을 발휘하는가?
• RQ3 저자원 하드웨어, 예를 들어 노트북 GPU에서도 이 방법을 효율적으로 학습하고 배포할 수 있는가?
• RQ4 불확실성 및 시드리스 헤드의 포함이 표준 임베딩 전용 접근 방식에 비해 세그멘테이션 성능을 어떻게 향상시키는가?
• RQ5 이 방법은 3D 부피 영상에서 다양한 생물학적 영상 모달리티와 물체 형태에 대해 잘 일반화되는가?

주요 결과

• EmbedSeg는 3개의 2D 및 4개의 3D 미세소관 데이터셋에서 최신 기술 수준의 성능을 달성하여 U-Net, Cellpose, StarDist-3D와 같은 기존 기준들을 능가한다.
• Paryhale-Nuclei-IGFL 2D 데이터셋에서 EmbedSeg는 IoU 임계값 0.5에서 평균 AP 0.581을 기록했으며, 최고의 기준인 Cellpose(0.545)를 초월했다.
• 3D Mouse-Organoid-Cells-CBG 데이터셋에서 EmbedSeg는 IoU 0.5에서 평균 AP 0.581을 기록했으며, StarDist-3D(0.472)와 U-Net(0.280)를 모두 능가했다.
• EmbedSeg는 단지 7 GB의 GPU 메모리만을 요구하여 소비자용 GPU에서도 학습이 가능하지만, StarDist-3D는 20 GB가 필요하여 접근성이 떨어진다.
• 이 방법은 쥐 기관류, 플라티너리스 배아, 두개골 세포핵 등 다양한 3D 데이터셋에 대해 잘 일반화되며 일관된 성능 향상을 보였다.
• 정답 주석이 포함된 4개의 새로운 3D 미세소관 데이터셋을 공개하여 향후 3D 인스턴스 세그멘테이션 분야의 연구를 위한 유용한 벤치마크를 제공한다.