[论文解读] Improved Conditional Flow Models for Molecule to Image Synthesis

Karren Yang, Samuel Goldman+5 more|arXiv (Cornell University)|Jun 15, 2020

Cell Image Analysis Techniques参考文献 1被引用 6

一句话总结

该论文提出 Mol2Image，一种基于流的新型生成模型，利用多尺度哈尔小波图像金字塔和对比学习，从分子结构生成高分辨率（512×512）细胞显微镜图像。该方法通过学习解耦的、具有生物学意义的分子嵌入，准确反映药物干预引起的形态学效应，实现了最先进性能。

ABSTRACT

In this paper, we aim to synthesize cell microscopy images under different molecular interventions, motivated by practical applications to drug development. Building on the recent success of graph neural networks for learning molecular embeddings and flow-based models for image generation, we propose Mol2Image: a flow-based generative model for molecule to cell image synthesis. To generate cell features at different resolutions and scale to high-resolution images, we develop a novel multi-scale flow architecture based on a Haar wavelet image pyramid. To maximize the mutual information between the generated images and the molecular interventions, we devise a training strategy based on contrastive learning. To evaluate our model, we propose a new set of metrics for biological image generation that are robust, interpretable, and relevant to practitioners. We show quantitatively that our method learns a meaningful embedding of the molecular intervention, which is translated into an image representation reflecting the biological effects of the intervention.

研究动机与目标

• 开发首个基于分子干预条件生成高分辨率细胞显微镜图像的生成模型。
• 解决将基于流的模型扩展到全分辨率图像的同时，在多个空间尺度上实现解耦生成的挑战。
• 通过最大化分子嵌入与生成图像之间的互信息，提升对复杂分子输入的条件控制能力。
• 建立稳健且具有生物学相关性的评估指标，用于药物发现中的分子到图像生成任务。
• 证明所学习的分子表征能够反映生物学上有意义的形态学效应。

提出的方法

• 提出一种基于哈尔小波图像金字塔的多尺度流架构，以在不同分辨率下生成图像特征，实现对 512×512 图像的扩展。
• 集成图神经网络（GNN）将分子结构编码为潜在嵌入，用于条件化流模型。
• 采用基于对比学习的训练策略，以最大化 GNN 嵌入的分子特征与流模型潜在空间之间的互信息。
• 采用分层生成过程，从粗到细逐步生成特征，提升训练稳定性与建模保真度。
• 应用改进的归一化流，其耦合层支持在小波金字塔结构上的可逆变换。
• 采用结合流模型对数似然和对比损失的损失函数，对齐分子与图像表征。

实验结果

研究问题

• RQ1 基于流的模型能否有效扩展至生成基于分子结构的高分辨率（512×512）细胞显微镜图像？
• RQ2 基于哈尔小波金字塔的多尺度流架构是否能改善生成图像中粗粒度与细粒度形态学特征的解耦？
• RQ3 对比学习能否增强条件流模型中分子嵌入与生成图像表征之间的对齐？
• RQ4 所学习的分子嵌入是否能反映分子干预引起的生物学相关形态学变化？
• RQ5 所提出的评估指标能否在生物学背景下可靠且可解释地评估分子到图像生成的质量？

主要发现

• Mol2Image 在生成反映分子干预形态学效应的图像方面显著优于基线模型（CGAN、CGlow），经定性比较验证。
• 在从分子嵌入预测 14 种形态学特征的线性探测中，模型平均 AUC 达 0.810，优于摩根指纹（0.675）和随机 GNN（0.569）。
• 无对比学习的消融实验平均 AUC 为 0.675，表明对比学习显著提升了分子表征的质量。
• 图像金字塔框架即使在 64×64 分辨率下也提升了条件生成性能，表明多尺度训练可增强学习效率与表征质量。
• 模型在未见分子上具有泛化能力，在保留集上平均 AUC 达 0.683，接近全监督模型性能（AUC 0.702）。
• 该方法可通过生成反映分子扰动预期细胞反应的生物学上合理的图像，实现虚拟筛选。