[论文解读] Latent Translation: Crossing Modalities by Bridging Generative Models

Yingtao Tian, Jesse Engel|arXiv (Cornell University)|Feb 21, 2019

Generative Adversarial Networks and Image Synthesis参考文献 34被引用 14

一句话总结

本文提出潜在转换（latent translation）方法，通过桥接变分自编码器学习共享潜在空间，实现跨不同模态（如图像到音频）或生成模型类型（如VAE到GAN）之间的转换。通过使用切片-Wasserstein距离进行结构对齐，并利用分类器保证语义一致性，该方法在无需重新训练基础模型的情况下，将训练时间减少约200倍，同时实现高达98%的转换准确率。

ABSTRACT

End-to-end optimization has achieved state-of-the-art performance on many specific problems, but there is no straight-forward way to combine pretrained models for new problems. Here, we explore improving modularity by learning a post-hoc interface between two existing models to solve a new task. Specifically, we take inspiration from neural machine translation, and cast the challenging problem of cross-modal domain transfer as unsupervised translation between the latent spaces of pretrained deep generative models. By abstracting away the data representation, we demonstrate that it is possible to transfer across different modalities (e.g., image-to-audio) and even different types of generative models (e.g., VAE-to-GAN). We compare to state-of-the-art techniques and find that a straight-forward variational autoencoder is able to best bridge the two generative models through learning a shared latent space. We can further impose supervised alignment of attributes in both domains with a classifier in the shared latent space. Through qualitative and quantitative evaluations, we demonstrate that locality and semantic alignment are preserved through the transfer process, as indicated by high transfer accuracies and smooth interpolations within a class. Finally, we show this modular structure speeds up training of new interface models by several orders of magnitude by decoupling it from expensive retraining of base generative models.

研究动机与目标

• 实现预训练生成模型的模块化、可组合使用，以支持新跨模态任务，而无需重新训练。
• 在跨模态域迁移过程中保持局部性和语义对齐。
• 通过将接口学习与基础模型重新训练解耦，降低训练成本。
• 实现不同生成模型架构之间的转换（如VAE到GAN）。
• 通过无监督对齐和半监督学习，最小化对标注数据的依赖。

提出的方法

• 训练一个共享的桥接VAE，将来自两个域的数据编码到一个共同的潜在空间中。
• 使用切片-Wasserstein距离（SWD）促进共享潜在空间中两个域边缘分布的重叠。
• 使用一个域条件解码器，通过一个热独标签控制重建哪个域的分布。
• 在共享潜在空间中引入一个线性分类器，通过从两个域中预测类别标签来强制实现语义对齐。
• 使用重构损失、SWD惩罚项和分类损失的组合进行模型训练。
• 通过使用目标域标签编码源域样本，并在目标域中解码，实现转换。

实验结果

研究问题

• RQ1 能否学习到一个共享潜在空间，以实现预训练生成模型之间的跨模态转换？
• RQ2 在转换后的表示中，局部性和语义对齐的保持程度如何？
• RQ3 无监督和半监督信号对转换性能的影响是什么？
• RQ4 与重新训练基础生成模型相比，接口训练快多少？
• RQ5 该方法能否连接不同类型的生成模型（如VAE到GAN）？

主要发现

• 在使用6000个标注样本的MNIST到MNIST转换任务中，桥接VAE实现了98.0%的转换准确率，表明语义对齐效果极佳。
• 仅使用每类10个标注样本时，转换准确率仍达到52.4%，展现出极强的数据效率。
• 即使完全无标签，模型仍实现13.9%的准确率，得益于通过切片-Wasserstein距离实现的无监督对齐。
• 与重新训练基础WaveGAN模型相比，该方法将接口训练时间减少了约200倍。
• 插值结果表明，类内过渡平滑且局部性良好，类边界处呈现受控跳跃，有效保持了局部性。
• 消融实验表明，域条件控制和SWD均显著提升性能，其中域条件控制对准确率提升贡献最大。