[论文解读] Class-Guided Image-to-Image Diffusion: Cell Painting from Brightfield Images with Class Labels

Jan Cross-Zamirski, Praveen Anand+4 more|arXiv (Cornell University)|Mar 15, 2023

Cell Image Analysis TechniquesBiochemistry, Genetics and Molecular Biology被引用 3

一句话总结

本文提出了一种类别引导的图像到图像扩散模型，利用离散扰动标签提升从明场显微镜输入生成细胞染色图像的质量。通过将类别标签整合到基于扩散的图像到图像框架中，该方法增强了形态学特征保真度，并在训练于生物活性子集时，提升了下游药物作用机制预测性能，尤其在特征相关性和结构相似性方面优于无引导模型。

ABSTRACT

Image-to-image reconstruction problems with free or inexpensive metadata in the form of class labels appear often in biological and medical image domains. Existing text-guided or style-transfer image-to-image approaches do not translate to datasets where additional information is provided as discrete classes. We introduce and implement a model which combines image-to-image and class-guided denoising diffusion probabilistic models. We train our model on a real-world dataset of microscopy images used for drug discovery, with and without incorporating metadata labels. By exploring the properties of image-to-image diffusion with relevant labels, we show that class-guided image-to-image diffusion can improve the meaningful content of the reconstructed images and outperform the unguided model in useful downstream tasks.

研究动机与目标

• 解决在药物发现中从低成本明场显微镜输入生成高保真荧光细胞染色图像的挑战。
• 探究离散类别标签（例如，扰动类型）是否能够引导图像到图像扩散模型生成具有生物意义的重建结果。
• 不仅通过标准图像指标，还通过下游生物任务（如作用机制预测和聚类）评估模型性能。
• 证明在生物相关活性化合物子集上训练时，标签引导的扩散模型可优于无引导的图像到图像基线模型。

提出的方法

• 该方法在Palette图像到图像扩散框架的基础上扩展，引入类别引导去噪，采用分类器引导机制，使生成过程基于离散扰动标签进行条件控制。
• 采用U-Net结构的去噪网络，同时接收明场输入图像和类别标签嵌入作为输入，以预测对应的荧光通道图像。
• 模型在JUMP-CP Target2数据集的一个子集上进行训练，以三通道明场图像作为输入，五通道细胞染色图像作为目标。
• 类别标签通过可学习的投影头进行嵌入，并通过分类器引导机制在去噪过程中使用，以引导扩散过程朝向期望的表型输出。
• 该框架支持全板和活性子集两种训练范式，以评估标签质量与数据稀疏性的影响。
• 性能通过图像指标（FID、SSIM）、与CellProfiler的特征相关性，以及在作用机制预测任务中的目标匹配度进行评估。

Figure 2: Given input Brightfield (3 channels) our model is able to generate 5 Cell Painting channels. Incorporating meaningful labels can improve biological feature quality and performance on downstream tasks without significantly reducing image quality or adding background noise. Columns left to r

实验结果

研究问题

• RQ1 离散类别标签能否提升显微镜图像到图像扩散重建的质量与生物相关性？
• RQ2 将扰动标签纳入模型是否能增强下游药物表征任务（如作用机制预测与聚类）的性能？
• RQ3 训练数据质量——特别是是否包含非活性或噪声样本——如何影响类别引导扩散模型的性能？
• RQ4 在特征保真度与图像重建指标方面，类别引导模型在多大程度上优于无引导的图像到图像基线模型？

主要发现

• 在活性扰动子集上训练时，类别引导模型与CellProfiler提取的真实形态学特征的相关性最高，优于无引导的Palette模型。
• 该模型在机制预测中的结构相似性（SSIM）和目标匹配准确率方面均有提升，即使训练集更小，也表现出对数据稀缺的鲁棒性。
• 与无引导模型相比，使用扰动标签作为条件使目标匹配率提高了15%，表明其具有更好的表型泛化能力。
• 在全板数据上训练并使用扰动标签的模型获得了最低的FID分数（14.2），尽管引入了一些背景噪声，表明图像保真度与生物相关性之间存在权衡。
• 分类器引导提升了目标匹配率，但略微降低了图像与特征质量，表明标签选择需格外谨慎。
• 结果表明，高质量、具有生物信息量的标签至关重要——低质量或无信息量的标签会降低图像质量并误导模型。

Figure 3: Images generated by models trained with the active subset. The labelled images were sampled with both AdaGN and CG. Cropped to $100\times 100$ pixels. Columns left to right: Brightfield (input), DNA, RNA, ER, Mito, AGP.