[论文解读] Generative Modeling with Conditional Autoencoders: Building an Integrated Cell

Gregory R. Johnson, Rory Donovan-Maiye+1 more|arXiv (Cornell University)|Apr 28, 2017

Cell Image Analysis Techniques参考文献 12被引用 26

一句话总结

本文提出一种基于条件变分自编码器的条件生成模型，用于从荧光显微镜图像中学习并合成逼真的细胞和细胞核形态，实现亚细胞结构的 probabilistic 定位。该模型无需分割即可捕捉细胞组分之间的复杂空间关系，从而实现对未观测结构定位的准确预测，并能从潜在表示生成逼真的人造细胞图像。

ABSTRACT

We present a conditional generative model to learn variation in cell and nuclear morphology and the location of subcellular structures from microscopy images. Our model generalizes to a wide range of subcellular localization and allows for a probabilistic interpretation of cell and nuclear morphology and structure localization from fluorescence images. We demonstrate the effectiveness of our approach by producing photo-realistic cell images using our generative model. The conditional nature of the model provides the ability to predict the localization of unobserved structures given cell and nuclear morphology.

研究动机与目标

• 开发一种非参数生成模型，以捕捉荧光显微镜图像中细胞和细胞核形态以及亚细胞结构定位的变异。
• 基于细胞和细胞核形状，实现对未观测亚细胞结构定位的概率化预测。
• 通过直接建模荧光信号定位，减少对分割和目标检测的依赖。
• 构建紧凑的、低维的潜在空间表征，以编码复杂的图像分布和细胞变异。
• 支持多种成像数据的整合，并可扩展至三维建模与扰动空间编码。

提出的方法

• 该模型采用两个深度自编码器：一个用于编码细胞和细胞核形状的变异，另一个用于在编码形状的基础上建模条件化的结构定位。
• 采用条件变分自编码器（CVAE）框架，学习细胞形态与亚细胞结构位置之间的联合概率分布。
• 模型在300–750张荧光显微镜图像上进行端到端训练，直接建模像素级信号强度，无需对象分割。
• 利用潜在空间表征生成逼真的人造细胞图像，并通过最大似然估计预测结构定位。
• 支持条件生成：给定细胞和细胞核形状，可预测任意结构最可能的定位。
• 该框架与参数化模型兼容，支持对具有已知参数形式和无已知参数形式的结构进行混合建模。

实验结果

研究问题

• RQ1 非参数生成模型能否准确捕捉并合成亚细胞结构与细胞/细胞核形态之间的空间关系？
• RQ2 仅基于细胞和细胞核形状，模型能否准确预测未直接观测到的荧光标记结构的定位？
• RQ3 与基于分割的细胞计测方法相比，直接建模荧光信号定位是否在建模灵活性和效率方面更具优势？
• RQ4 该模型的潜在空间能否作为探索细胞形态变异的紧凑且可解释的坐标系？
• RQ5 该模型在多样化定位模式（包括高变异或动态重组模式）下的泛化能力如何？

主要发现

• 该模型成功生成了反映真实形态与亚细胞组织模式的逼真人造细胞图像。
• 在缺乏直接观测的情况下，模型能高保真地准确预测亚细胞结构的定位，如图3所示。
• 在多类别分类任务中，模型表现优异，仅在样本不足或代表性不足的结构类别上性能略有下降。
• 通过跳过分割步骤，模型降低了建模复杂度，并避免了因真实边界标注评估带来的误差。
• 潜在空间编码了细胞形态与结构组织的有意义变异，使在低维概率空间中探索细胞多样性成为可能。
• 该模型在多样化定位模式下泛化良好，包括弥散蛋白以及微管等动态重组结构。