[论文解读] Jointly Embedding Multiple Single-Cell Omics Measurements

Liu, Jie, Huang, Yuanhao+3 more|arXiv (Cornell University)|Jan 1, 2019

Generative Adversarial Networks and Image Synthesis参考文献 23被引用 1,273

一句话总结

本文提出DiscoGAN，一种生成对抗网络，通过强制执行循环一致性生成和对抗性训练，学习未配对、无标签图像数据集之间的跨域关系。该模型成功实现了域间图像翻译——如手提包到鞋子、人脸到汽车、边缘图到照片——同时保持身份、方向和风格等关键属性，展现出对模式崩溃的鲁棒性，并在无配对数据的情况下实现有效的双向映射。

ABSTRACT

Many single-cell sequencing technologies are now available, but it is still difficult to apply multiple sequencing technologies to the same single cell. In this paper, we propose an unsupervised manifold alignment algorithm, MMD-MA, for integrating multiple measurements carried out on disjoint aliquots of a given population of cells. Effectively, MMD-MA performs an in silico co-assay by embedding cells measured in different ways into a learned latent space. In the MMD-MA algorithm, single-cell data points from multiple domains are aligned by optimizing an objective function with three components: (1) a maximum mean discrepancy (MMD) term to encourage the differently measured points to have similar distributions in the latent space, (2) a distortion term to preserve the structure of the data between the input space and the latent space, and (3) a penalty term to avoid collapse to a trivial solution. Notably, MMD-MA does not require any correspondence information across data modalities, either between the cells or between the features. Furthermore, MMD-MA’s weak distributional requirements for the domains to be aligned allow the algorithm to integrate heterogeneous types of single cell measures, such as gene expression, DNA accessibility, chromatin organization, methylation, and imaging data. We demonstrate the utility of MMD-MA in simulation experiments and using a real data set involving single-cell gene expression and methylation data.

研究动机与目标

• 解决在无需成对训练数据的情况下，学习视觉域之间跨域关系的挑战。
• 开发一种方法，实现在无显式监督或标注的情况下，域间图像到图像的翻译。
• 通过强制执行循环一致性和对抗性训练，确保学习到的映射为双射且具有鲁棒性。
• 证明模型在跨域图像翻译过程中，能够保持结构属性（如方向和身份）的同时实现风格迁移。

提出的方法

• 提出一种基于循环一致性的生成对抗网络框架（DiscoGAN），使用两个生成器（GAB 和 GBA）在域 A 和 B 之间双向映射。
• 实施重建损失，以确保 GBA(GAB(xA)) ≈ xA 且 GAB(GBA(xB)) ≈ xB，从而保证循环一致性。
• 通过判别器 DB 和 DA 使用对抗性损失，确保生成图像在各自域中与真实图像无法区分。
• 采用基于编码器-解码器网络的生成器架构，使用步长卷积和转置卷积，激活函数为修正线性单元（Leaky ReLU）。
• 通过 L1 或 L2 距离施加软约束进行重建，避免对精确可逆性的硬性优化。
• 使用未配对的数据集端到端训练模型，实现无需人工标注配对的跨域关系自发现。

实验结果

研究问题

• RQ1 基于 GAN 的模型是否能在无任何成对训练数据的情况下，学习两个视觉域之间的有意义跨域关系？
• RQ2 循环一致性与对抗性训练如何协同提升图像翻译质量并防止模式崩溃？
• RQ3 DiscoGAN 在跨视觉差异较大的域之间进行图像到图像翻译时，能在多大程度上保持身份、方向和结构属性？
• RQ4 该模型是否能泛化到多样化的图像翻译任务中，如边缘图到照片、人脸到汽车、手提包到鞋子的翻译？
• RQ5 该模型在重复应用翻译映射时的鲁棒性如何？

主要发现

• DiscoGAN 成功实现了手提包到鞋子、汽车到人脸、边缘图到照片等域之间的图像翻译，生成了逼真且语义一致的输出。
• 即使在视觉差异较大的域之间，模型仍能保持方向、身份和时尚形式等关键属性。
• 与标准 GAN 及带重建损失的 GAN 相比，DiscoGAN 在玩具数据集和真实世界数据集上均表现出更强的抗模式崩溃能力。
• 模型实现了双向映射，能够以高保真度实现从域 A 到 B 再回到 A 的翻译。
• 在边缘图到照片翻译任务中，模型能从单一边缘输入生成多样且逼真的着色结果，展示了其 1 对多（1-to-N）能力。
• 重复应用翻译映射可产生稳定且连贯的结果，证实了模型的鲁棒性与所学一致性。