[논문 리뷰] Denoising Diffusion Probabilistic Models for Generation of Realistic Fully-Annotated Microscopy Image Data Sets

Dennis Eschweiler, Yilmaz, Rüveyda외 6명|arXiv (Cornell University)|2023. 01. 02.

Cell Image Analysis Techniques인용 수 4

한 줄 요약

이 논문은 오직 원시 스케치만을 입력으로 사용하여 현실적이고 완전히 애너테이션 처리된 현미경 영상 데이터셋을 생성하는 디퓨전 모델 기반 파이프라인을 제안한다. 이는 분할 모델의 완전 자동화된 비지도 학습을 가능하게 한다. 조기 노이즈 제거 과정을 시작하고 스케치 기반 사전 지식을 활용함으로써, 높은 정밀도의 이미지-마스크 쌍을 생성하여 단지 200개의 합성 샘플로도 최신 기술 수준의 분할 모델을 훈련시켜, 대규모 인간 애너테이션 데이터셋으로 훈련된 모델과 비교할 만한 성능을 달성한다.

ABSTRACT

Recent advances in computer vision have led to significant progress in the generation of realistic image data, with denoising diffusion probabilistic models proving to be a particularly effective method. In this study, we demonstrate that diffusion models can effectively generate fully-annotated microscopy image data sets through an unsupervised and intuitive approach, using rough sketches of desired structures as the starting point. The proposed pipeline helps to reduce the reliance on manual annotations when training deep learning-based segmentation approaches and enables the segmentation of diverse datasets without the need for human annotations. This approach holds great promise in streamlining the data generation process and enabling a more efficient and scalable training of segmentation models, as we show in the example of different practical experiments involving various organisms and cell types.

연구 동기 및 목표

• 생물의학 영상 분할을 위한 딥 러닝 모델 훈련에서 수동 애너테이션의 한계를 해결하기 위해.
• 인간 애너테이션 데이터가 필요 없이 다양하고 현실적이며 완전히 애너테이션 처리된 현미경 영상 데이터셋을 생성할 수 있도록 하기 위해.
• 구조적 정밀도와 애너테이션 정확도를 유지하는 동시에 확장 가능한 비지도 파이프라인을 개발하기 위해.
• 디퓨전 모델을 통해 생성된 합성 데이터로 훈련된 분할 모델이 실제 애너테이션 데이터로 훈련된 모델의 성능을 따라할 수 있는지 평가하기 위해.
• 현미경 영상 합성에서 인간 애너테이션을 시뮬레이션 기반 스케치 생성으로 대체할 수 있는지 가능성 탐색하기 위해.

제안 방법

• 실제 현미경 영상 데이터에 대해 노이즈 제거 확률 모델(DDPM)을 훈련시어 역방향 노이즈 제거 과정을 학습한다.
• 원시 스케치를 세포 구조물의 형태로 사용하여 전방 과정을 적용함으로써, t_start < T의 제어된 노이즈 수준에서 노이즈가 섞인 잠재 상태를 생성한다.
• 훈련된 역방향 과정을 통해 스케치 기반의 노이즈 상태에서 현실적인 영상 데이터를 생성하며, 구조적 정보를 유지한다.
• 다양한 t_start 및 스케치 블러링 파라미터에서 생성된 영상의 현실성 평가를 위해 PSNR와 ZNCC를 사용한다.
• 합성 데이터에서부터 분할 모델을 다시 학습시키고 실제 현미경 영상에서 평가함으로써 활용 가능성 평가를 수행한다.
• 기존의 분할 모델(예: Cellpose 또는 SAM)을 활용해 초도 스케치를 생성함으로써 파이프라인의 완전 자동화를 달성한다.

실험 결과

연구 질문

• RQ1 노이즈 제거 디퓨전 모델은 인간 애너테이션 데이터 없이 원시 스케치에서 완전히 애너테이션 처리된 현미경 영상 데이터셋을 생성할 수 있는가?
• RQ2 전방 과정에서 t_start의 선택이 생성된 영상의 현실성과 구조적 정밀도에 어떤 영향을 미치는가?
• RQ3 합성 데이터 전용으로 훈련된 분할 모델이 대규모 실제 애너테이션 데이터셋으로 훈련된 모델과 비교해 유사한 성능을 달성할 수 있는가?
• RQ4 스케치 기반 사전 지식의 품질이 생성된 이미지-마스크 쌍의 현실성과 유용성에 어느 정도의 영향을 미치는가?
• RQ5 이 파이프라인이 특정 데이터셋에 맞게 재학습이 필요 없이 다양한 생물 종과 세포 유형으로 일반화 가능한가?

주요 결과

• 제안된 파이프라인을 통해 생성된 200개의 합성 이미지-마스크 쌍만으로도 최신 기술 수준의 분할 모델이 실제 애너테이션 데이터셋으로 훈련된 모델과 비교할 만한 분할 정확도를 달성했다.
• 와일콕 순위합 검정을 통해 합성 데이터로 훈련된 모델과 실제 데이터로 미세조정된 모델 간의 분할 성능에 통계적으로 유의미한 차이가 없음을 확인했으며, p-값은 최소 0.0002에 이르렀다.
• 모든 데이터셋에서 높은 PSNR와 ZNCC 값이 일관되게 확보되어 생성된 영상 데이터의 강력한 현실성 임계치를 보여주었다.
• 이 방법은 아라비도프시스 테리레아, 캐론델라 은하, 타이타니아 캐스티아누스, 마우스 줄기세포, 헬라 세포를 포함한 다섯 가지 다양한 생물학적 데이터셋에 대해 현실적인 영상 데이터를 성공적으로 생성했다.
• 이 접근법은 데이터 생성의 완전 자동화를 가능하게 하여 인간 애너테이션의 필요성을 제거하면서도 높은 품질의 분할 성능를 유지한다.
• 노이즈로 인한 구조적 손실로 인해 매우 어두운 세포를 생성하는 데에는 한계가 있으나, 대부분의 실용적 분할 작업에서는 여전히 효과적이다.