[论文解读] Denoising Diffusion Probabilistic Models for Generation of Realistic Fully-Annotated Microscopy Image Data Sets

Dennis Eschweiler, Yilmaz, Rüveyda+6 more|arXiv (Cornell University)|Jan 2, 2023

Cell Image Analysis Techniques被引用 4

一句话总结

该论文提出了一种基于扩散模型的流程，仅通过粗略草图作为输入，即可生成逼真且完全标注的显微镜图像数据集，从而实现分割模型的完全自动化、无监督训练。通过早期启动去噪过程并利用基于草图的先验知识，该方法生成了高保真度的图像-掩码配对数据，仅使用200张合成样本即可训练出性能媲美大规模人工标注数据集上训练的最先进分割模型。

ABSTRACT

Recent advances in computer vision have led to significant progress in the generation of realistic image data, with denoising diffusion probabilistic models proving to be a particularly effective method. In this study, we demonstrate that diffusion models can effectively generate fully-annotated microscopy image data sets through an unsupervised and intuitive approach, using rough sketches of desired structures as the starting point. The proposed pipeline helps to reduce the reliance on manual annotations when training deep learning-based segmentation approaches and enables the segmentation of diverse datasets without the need for human annotations. This approach holds great promise in streamlining the data generation process and enabling a more efficient and scalable training of segmentation models, as we show in the example of different practical experiments involving various organisms and cell types.

研究动机与目标

• 解决在训练生物医学图像分割深度学习模型时人工标注带来的瓶颈问题。
• 实现在无需人工标注数据的情况下，生成多样化、逼真且完全标注的显微镜图像数据集。
• 开发一种可扩展的无监督流程，用于生成保持结构保真度和标注准确性的合成训练数据。
• 评估通过扩散模型生成的合成数据是否能够训练出性能与在真实标注数据上训练的模型相当的分割模型。
• 探索在显微镜图像合成中，用基于模拟的草图生成替代人工标注的可行性。

提出的方法

• 在真实显微镜图像数据上训练去噪扩散概率模型（DDPM），以学习反向去噪过程。
• 将前向过程应用于细胞结构的粗略草图，生成从 t_start < T 的受控噪声水平开始的噪声潜在状态。
• 利用训练好的反向过程，从这些基于草图的噪声状态生成逼真的图像数据，同时保留结构信息。
• 采用PSNR和ZNCC评估不同 t_start 和草图模糊参数下生成图像的真实感。
• 在合成数据上从零开始训练分割模型，并在真实显微镜图像上进行评估，以评估其可用性。
• 该流程利用现有的分割模型（如Cellpose或SAM）生成初始草图，实现全流程自动化。

实验结果

研究问题

• RQ1 去噪扩散模型是否能够在无需人工标注训练数据的情况下，仅从粗略草图生成完全标注的显微镜图像数据集？
• RQ2 前向过程中 t_start 的选择如何影响生成图像的真实感和结构保真度？
• RQ3 仅在合成数据上训练的分割模型是否能达到与在大规模真实标注数据集上训练的模型相当的性能？
• RQ4 基于草图的先验质量在多大程度上影响生成的图像-掩码对的真实感和实用性？
• RQ5 该流程是否可在无需针对特定数据集重新训练的情况下，推广至多种生物体和细胞类型？

主要发现

• 仅使用200张通过该流程生成的合成图像-掩码对进行训练的模型，其分割准确率与在大规模真实标注数据集上训练的最先进模型相当。
• Mann-Whitney U检验（即Wilcoxon秩和检验）证实，基于合成数据训练的模型与在真实数据上微调的模型在分割性能上无显著差异，p值低至0.0002。
• 所有数据集中均持续获得较高的PSNR和ZNCC值，表明生成图像数据具有很强的真实感。
• 该方法成功为五种不同的生物数据集（包括A. thaliana、C. elegans、T. castaneum、小鼠干细胞和HeLa细胞）生成了逼真的图像数据。
• 该方法实现了数据生成的完全自动化，无需人工标注，同时保持了高质量的分割性能。
• 尽管在生成极暗细胞时因噪声引起的结构损失存在局限性，但该方法在大多数实际分割任务中仍具有效性。