[论文解读] Multi-Domain Translation by Learning Uncoupled Autoencoders

Karren Yang, Caroline Uhler|arXiv (Cornell University)|Feb 9, 2019

Generative Adversarial Networks and Image Synthesis参考文献 17被引用 13

一句话总结

本文提出了一种新颖的多领域无监督翻译框架，通过学习共享同一潜在空间的k个解耦自编码器，实现在无需重新训练的情况下灵活、顺序地添加新领域。该方法通过在潜在空间中训练判别器，实现分布对齐，同时保持模块化与高效性，在图像和基因组数据集上达到了最先进性能。

ABSTRACT

Multi-domain translation seeks to learn a probabilistic coupling between marginal distributions that reflects the correspondence between different domains. We assume that data from different domains are generated from a shared latent representation based on a structural equation model. Under this assumption, we show that the problem of computing a probabilistic coupling between marginals is equivalent to learning multiple uncoupled autoencoders that embed to a given shared latent distribution. In addition, we propose a new framework and algorithm for multi-domain translation based on learning the shared latent distribution and training autoencoders under distributional constraints. A key practical advantage of our framework is that new autoencoders (i.e., new domains) can be added sequentially to the model without retraining on the other domains, which we demonstrate experimentally on image as well as genomics datasets.

研究动机与目标

• 解决跨领域无监督多域翻译问题，其中各领域间缺乏配对数据。
• 克服现有基于CycleGAN的模型在多领域场景下扩展性差且依赖成对训练的局限性。
• 开发一种框架，实现在不重新训练已有模型的前提下，顺序集成新领域。
• 利用共享潜在表征，将k个领域的翻译解耦为k个独立自编码器。
• 实现在无结构先验（如图像和单细胞组学数据）的多样化领域间鲁棒翻译。

提出的方法

• 该框架假设一个结构方程模型，所有领域共享一个共同潜在空间Z，每个领域Xi通过映射函数从Z生成。
• 将多领域翻译分解为k个解耦自编码器，每个自编码器独立训练，利用对抗训练重建其所属领域的数据。
• 自编码器通过在潜在空间中运行的对抗判别器，将每个领域的边缘分布匹配到预定义的共享潜在分布pZ。
• 模型采用两阶段训练流程：首先在低分辨率数据上训练自编码器，并逐步提升至更高分辨率，从而提高训练稳定性。
• 对于基因组数据，该方法将二元类别标签（如Oct4表达）引入判别器，以引导潜在空间中的对齐，防止任意分布偏移。
• 通过组合源领域编码器与目标领域解码器实现领域间翻译，支持双向传输。

实验结果

研究问题

• RQ1 能否利用共享潜在空间将多领域翻译解耦为独立自编码器，同时保持分布对应性？
• RQ2 如何在不重新训练已有学习领域的情况下向模型中添加新领域？
• RQ3 该框架能否泛化到无内在结构先验的领域（如基因组数据）？
• RQ4 当缺乏自然图像先验时，类别标签在稳定潜在空间对齐方面起到什么作用？
• RQ5 在潜在空间中进行渐进式训练如何提升复杂数据（如人脸）的收敛性与性能？

主要发现

• 该框架在64×64 CelebA人脸和手写数字数据上成功实现了高质量图像重建与逼真翻译结果的多领域翻译。
• 通过渐进式训练，模型在复杂图像数据上实现了稳定训练，其中自编码器首先在8×8图像上训练，随后逐步扩展至64×64。
• 在单细胞基因组学中，将二元Oct4标签引入判别器，成功实现了RNA-seq与ChIP-seq数据分布的精确潜在空间对齐，避免了任意分布偏移。
• 该框架实现了无需重新训练现有自编码器即可顺序添加新领域，展示了模块化与可扩展性。
• 可视化结果证实，从一个领域翻译得到的数据与目标领域的实际分布高度一致，共享潜在空间保留了有意义的生物学与语义结构。