[논문 리뷰] Instance Segmentation of Unlabeled Modalities via Cyclic Segmentation GAN

Leander Lauenburg, Zudi Lin외 7명|arXiv (Cornell University)|2022. 04. 06.

Advanced Electron Microscopy Techniques and Applications인용 수 5

한 줄 요약

이 논문은 사이클 일致성, 자기지도 세분화 손실, 데이터 증강을 통합하여 레이블이 없는 영상 모odalities(예: 팽창 현미경(ExM))에 대해 이미지 번역과 3D 인스턴스 세분화를 동시에 수행하는 통합 생성적 적대적 네트워크인 CySGAN을 제안한다. 이 방법은 사전 훈련된 모델과 순차적 번역-세분화 파이프라인을 모두 뛰어넘으며, 새로운 고밀도 ExM 세포핵 데이터셋에서 최고의 베이스라인 대비 5.7%의 절대 AP-50 향상을 달성한다.

ABSTRACT

Instance segmentation for unlabeled imaging modalities is a challenging but essential task as collecting expert annotation can be expensive and time-consuming. Existing works segment a new modality by either deploying a pre-trained model optimized on diverse training data or conducting domain translation and image segmentation as two independent steps. In this work, we propose a novel Cyclic Segmentation Generative Adversarial Network (CySGAN) that conducts image translation and instance segmentation jointly using a unified framework. Besides the CycleGAN losses for image translation and supervised losses for the annotated source domain, we introduce additional self-supervised and segmentation-based adversarial objectives to improve the model performance by leveraging unlabeled target domain images. We benchmark our approach on the task of 3D neuronal nuclei segmentation with annotated electron microscopy (EM) images and unlabeled expansion microscopy (ExM) data. Our CySGAN outperforms both pretrained generalist models and the baselines that sequentially conduct image translation and segmentation. Our implementation and the newly collected, densely annotated ExM nuclei dataset, named NucExM, are available at https://connectomics-bazaar.github.io/proj/CySGAN/index.html.

연구 동기 및 목표

• 확장 현미경(ExM)과 같은 새로 확보한 레이블이 없는 영상 모달리티에서 3D 인스턴스 세분화의 과제를 해결하기 위해 전문가의 레이블링이 비용이 많이 들고 시간이 오래 걸리는 문제를 해결한다.
• 기존 방법들이 이미지 번역과 세분화를 별도로 처리하고 순차적으로 수행하는 데서 비롯되는 한계를 극복하기 위해, 오류 전파와 작업 특화 최적화의 부족으로 인한 성능 저하 문제를 해결한다.
• 레이블이 있는 소스 도메인에 대한 감독 손실과 레이블이 없는 타겟 도메인에 대한 자기지도 기반 세분화 기반 적대적 손실을 동시에 사용하여 이미지 번역과 인스턴스 세분화를 통합 최적화하는 프레임워크를 개발한다.
• 데이터 증강을 통합하고 재구성된 이미지에 대해 사이클 일치성을 강제 적용함으로써 모델의 강건성과 일반화 능력을 향상시킨다.
• 미세조직 현미경 분야의 향후 연구를 지원하기 위해 새로운 고밀도 3D ExM 세포핵 데이터셋(NucExM)과 코드베이스를 공개한다.

제안 방법

• 소스(EM) 및 타겟(ExM) 도메인에 대해 동시에 세분화 마스크와 번역된 이미지를 예측하기 위해 단일 3D U-Net을 사용하는 순환 세분화 GAN(CySGAN)을 제안한다.
• 쌍이 없는 데이터로도 도메인 간 전환을 가능하게 하기 위해 소스와 번역된 타겟 이미지 간 사이클 일치성을 보장하기 위해 표준 CycleGAN 손실을 통합한다.
• 레이블이 있는 소스 도메인(마스크가 있는 EM 영상)에 감독 기반 교차 엔트로피 손실과 Dice 손실을 적용하여 정확한 인스턴스 세분화를 유도한다.
• 깨끗한 이미지와 번역 및 반대 번역 후 재구성된 이미지 간 사이클 일치성을 강제하는 구조적 일치 손실을 도입하여 손상되거나 노이즈가 있는 영역에 대한 정규화 효과를 제공한다.
• 예측된 세분화 마스크를 활용하여 번역된 이미지의 현실성 향상과 도메인 간 특징 정렬 향상을 위한 세분화 기반 적대적 손실을 도입한다.
• 훈련 중에 데이터 증강을 적용하고, 증강된 입력이 아닌 원본 깨끗한 이미지 대비 재구성된 이미지에 대해 사이클 일치성을 강제 적용함으로써 강건성과 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 순차적 파이프라인에 비해 레이블이 없는 타겟 모달리티에서 성능 향상을 위해 이미지 번역과 인스턴스 세분화를 통합 최적화하는 프레임워크가 효과적인가?
• RQ2 깨끗한 이미지에 대해 자기지도 기반 세분화 손실과 사이클 일치성이 3D 현미경 분야의 비지도 도메인 적응에서 모델의 일반화 능력을 향상시키는 데 얼마나 효과적인가?
• RQ3 증강된 입력이 아닌 재구성된 이미지에 대해 사이클 일치성을 강제 적용할 경우, 데이터 손상 상황에서 성능과 강건성이 향상되는가?
• RQ4 실제 레이블이 없는 3D 현미경 데이터에서 제안된 CySGAN 프레임워크가 사전 훈련된 모델과 이중 단계 번역-세분화 베이스라인을 얼마나 뛰어넘는가?

주요 결과

• CySGAN은 NucExM 데이터셋에서 평균 AP-50 점수 0.931을 기록하여, 두 번째로 우수한 방법(CycleGAN + U3D-BCD, $I_X\rightarrow I_Y$)보다 5.7% 포인트 높은 성능을 달성한다.
• 모델 최적화에 사용된 $V_1$ 볼륨에서 데이터 증강을 제거하면 AP-50가 0.927에서 0.761로 감소하여 증강 기법이 성능에 결정적인 역할을 한다는 것을 입증한다.
• 준지도 기반 세분화 손실을 제거하면 $V_1$에서 성능이 0.927에서 0.878로 저하되어 타겟 도메인의 레이블이 없는 데이터를 효과적으로 활용하기 위해 이 손실이 필수적임을 확인한다.
• $I_X\rightarrow I_Y$ 번역 방향이 순차적 베이스라인에서 항상 $I_Y\rightarrow I_X$보다 우수한 성능을 보이며, 소스에서 타겟으로의 번역이 후속 세분화 작업에 더 효과적임을 시사한다.
• 시각적 비교 결과 Cellpose와 StarDist는 부정확한 음성 결과와 경계 오류를 보였지만, CySGAN은 더 정확하고 잘 분리된 인스턴스 마스크를 생성한다.
• 절단 실험 결과 데이터 증강과 준지도 손실 둘 다 최적 성능을 위해 필수적이며, 둘 중 하나라도 제거할 경우 심각한 성능 저하가 발생함을 확인한다.