[논문 리뷰] VoxelEmbed: 3D Instance Segmentation and Tracking with Voxel Embedding based Deep Learning

Mengyang Zhao, Quan Liu외 7명|arXiv (Cornell University)|2021. 06. 22.

Cell Image Analysis Techniques참고 문헌 25인용 수 17

한 줄 요약

이 논문은 3D 볼륨 영상에서 공간-시간적 맥락을 포착하기 위해 볼륨 임베딩을 사용하는 새로운 3D 인스턴스 세그멘테이션 및 트래킹 방법인 VoxelEmbed을 제안한다. 다중 스트림 학습 프레임워크와 3D 동기화를 활용하여 단일 12GB GPU에서 엔드 투 엔드로 메모리 효율적인 추론을 가능하게 하며, ISBI 세포 트래킹 챌린지 데이터셋 4종에서 최신 기술 수준(SOTA) 성능을 달성한다. 특히 희소하게 애너테이션된 데이터에서도 경쟁적인 성능을 보였다.

ABSTRACT

Recent advances in bioimaging have provided scientists a superior high spatial-temporal resolution to observe dynamics of living cells as 3D volumetric videos. Unfortunately, the 3D biomedical video analysis is lagging, impeded by resource insensitive human curation using off-the-shelf 3D analytic tools. Herein, biologists often need to discard a considerable amount of rich 3D spatial information by compromising on 2D analysis via maximum intensity projection. Recently, pixel embedding-based cell instance segmentation and tracking provided a neat and generalizable computing paradigm for understanding cellular dynamics. In this work, we propose a novel spatial-temporal voxel-embedding (VoxelEmbed) based learning method to perform simultaneous cell instance segmenting and tracking on 3D volumetric video sequences. Our contribution is in four-fold: (1) The proposed voxel embedding generalizes the pixel embedding with 3D context information; (2) Present a simple multi-stream learning approach that allows effective spatial-temporal embedding; (3) Accomplished an end-to-end framework for one-stage 3D cell instance segmentation and tracking without heavy parameter tuning; (4) The proposed 3D quantification is memory efficient via a single GPU with 12 GB memory. We evaluate our VoxelEmbed method on four 3D datasets (with different cell types) from the ISBI Cell Tracking Challenge. The proposed VoxelEmbed method achieved consistent superior overall performance (OP) on two densely annotated datasets. The performance is also competitive on two sparsely annotated cohorts with 20.6% and 2% of data-set having segmentation annotations. The results demonstrate that the VoxelEmbed method is a generalizable and memory-efficient solution.

연구 동기 및 목표

• 자원 소모가 크고 2D로 투영할 경우 3D 공간 정보가 손실되는 바이오메디컬 3D 영상 분석의 대규모 처리 과제를 해결한다.
• 기존의 2D 픽셀 임베딩 방법의 한계를 극복하기 위해 볼륨 맥락을 유지하는 3D 볼륨 임베딩으로 일반화한다.
• 중요한 하이퍼파라미터 튜닝 없이도 동시에 3D 인스턴스 세그멘테이션과 트래킹을 수행할 수 있는 메모리 효율적이고 엔드 투 엔드 프레임워크를 개발한다.
• 실제 생물학적 영상 촬영 조건을 반영하여 밀도 높고 희소하게 애너테이션된 3D 데이터셋 모두에서 견고한 성능을 발휘한다.

제안 방법

• 공간적 및 시간적 차원을 모두 고려한 볼륨 맥락을 통합하여 2D 픽셀 임베딩을 3D로 일반화하는 볼륨 임베딩 전략을 제안한다.
• 3D 볼륨 전반에 걸쳐 공간-시간 임베딩을 효율적으로 학습하기 위해 2D 컨볼루션 네트워크를 활용한 다중 스트림 학습 아키텍처를 설계한다.
• 슬라이스 전파에 영감을 얻은 3D 동기화 알고리즘을 도입하여 2D 예측에서 전체 볼륨 마스크를 재구성한다.
• 각 프레임 간 개별 세포의 일관되고 구분 가능한 임베딩을 확보하기 위해余弦 임베딩 손실을 사용한다.
• 공유된 임베딩 공간을 통해 세그멘테이션과 트래킹을 동시에 최적화하는 단일 단계 프레임워크를 활용해 엔드 투 엔드 학습을 구현한다.
• 학습된 임베딩 기반으로 볼륨 요소를 인스턴스 수준 세그먼트로 그룹화하기 위해 대역폭 0.1을 사용한 평균 이동 클러스터링을 구현한다.

실험 결과

연구 질문

• RQ1 볼륨 임베딩은 2D 픽셀 임베딩을 3D로 일반화하여 시간-경과 영상에서의 인스턴스 세그멘테이션 및 트래킹 성능을 향상시킬 수 있는가?
• RQ2 완전한 3D 컨볼루션 네트워크가 필요 없이도 다중 스트림 2D 네트워크 설계가 3D 공간-시간 맥락을 효과적으로 학습할 수 있는가?
• RQ3 제안된 방법은 최소한의 하이퍼파라미터 튜닝으로도 밀도 높고 희소하게 애너테이션된 3D 데이터셋 모두에서 높은 성능을 달성할 수 있는가?
• RQ4 단일 12GB VRAM GPU에서 실행되며 경쟁적 정확도를 유지할 수 있을 정도로 메모리 효율성이 충분한가?

주요 결과

• VoxelEmbed는 Fluo-N3DH-SIM+ 데이터셋에서 전체 성능(OP) 0.876을 기록했으며, RSHN 및 KTH-SE를 포함한 베이스라인 방법들을 능가했다. Fluo-C3DH-A549-SIM 데이터셋에서는 OP 0.926을 달성했다.
• 20.6% 프레임 애너테이션을 가진 Fluo-N3DH-CHO 데이터셋에서 VoxelEmbed는 OP 0.910을 기록했으며, 트래킹(TRA: 0.958)에서는 1위, 세그멘테이션(SEG: 0.862)에서는 2위를 기록했다.
• 단지 2% 프레임 애너테이션을 가진 Fluo-N3DH-CE 데이터셋에서 VoxelEmbed는 OP 0.807을 달성했으며, 전체 성능에서 2위, 트래킹에서는 1위(TRA: 0.897)를 기록했다.
• 이 방법은 다양한 세포 유형과 애너테이션 희소성 수준에서 강력한 일반화 성능를 유지함을 보였다.
• VoxelEmbed는 단일 12GB GPU만을 사용하여 이러한 성과를 달성하여, 실생활 바이오메디컬 영상 파이프라인에서의 메모리 효율성과 실용성을 확인했다.
• 제거 실험(VoxelEmbed-D)에서 다중 스트림 설계가 성능에 기여하는 것으로 나타났으며, Fluo-N3DH-SIM+에서 OP 0.879, Fluo-C3DH-A549-SIM에서 OP 0.919를 기록하여 강건성과 일관성을 입증했다.