[论文解读] Learning latent representations across multiple data domains using Lifelong VAEGAN

Fei Ye, Adrian G. Borş|arXiv (Cornell University)|Jul 20, 2020

Generative Adversarial Networks and Image Synthesis参考文献 63被引用 8

一句话总结

本文提出 Lifelong VAEGAN（L-VAEGAN），一种新颖的终身学习框架，结合变分自编码器（VAEs）与生成对抗网络（GANs），在跨多个数据领域学习解耦的、语义上有意义的潜在表征的同时，缓解灾难性遗忘问题。通过整合强大的生成式回放机制与推理模型，L-VAEGAN 实现了跨域插值与推理，在监督与半监督设置下均优于现有生成式回放方法。

ABSTRACT

The problem of catastrophic forgetting occurs in deep learning models trained on multiple databases in a sequential manner. Recently, generative replay mechanisms (GRM), have been proposed to reproduce previously learned knowledge aiming to reduce the forgetting. However, such approaches lack an appropriate inference model and therefore can not provide latent representations of data. In this paper, we propose a novel lifelong learning approach, namely the Lifelong VAEGAN (L-VAEGAN), which not only induces a powerful generative replay network but also learns meaningful latent representations, benefiting representation learning. L-VAEGAN can allow to automatically embed the information associated with different domains into several clusters in the latent space, while also capturing semantically meaningful shared latent variables, across different data domains. The proposed model supports many downstream tasks that traditional generative replay methods can not, including interpolation and inference across different data domains.

研究动机与目标

• 解决在多个数据领域上顺序训练的深度学习模型中的灾难性遗忘问题。
• 克服现有生成式回放方法缺乏推理能力与有意义潜在表征的局限性。
• 通过发现共享的、语义上有意义的潜在变量，实现在多个领域间的表征学习。
• 通过统一的生成与推理框架，支持跨域插值与推理等多样化下游任务。
• 为人工终身学习系统中的生成式回放提供理论基础坚实的方法。

提出的方法

• L-VAEGAN 将基于 VAE 的推理网络与基于 GAN 的生成器相结合，联合学习解耦的潜在表征并生成高质量的回放样本。
• 提出一种两步优化算法，通过交替更新推理网络与生成模型来训练模型。
• 通过在数据空间与潜在空间同时进行对抗训练，联合建模多个领域中的数据分布，学习任务特定与共享的潜在因子。
• 通过从训练好的生成器采样来重建过去知识，实现生成式回放。
• 该框架在极少架构修改下支持无监督、半监督与监督学习。
• 通过潜在空间上的正则化（包括 KL 散度与总相关性惩罚）来促进解耦。

实验结果

研究问题

• RQ1 终身学习模型能否在不产生灾难性遗忘的前提下，联合学习有意义的潜在表征并实现有效的生成式回放？
• RQ2 在持续学习设置下，如何在多个数据领域间发现共享的、语义上有意义的潜在变量？
• RQ3 与现有生成式回放方法相比，所提模型在支持跨域推理与插值方面达到何种程度？
• RQ4 L-VAEGAN 框架在持续学习环境下，能否在半监督与监督学习任务中保持高性能？
• RQ5 在生成式回放背景下，风险边界与泛化性能之间存在何种理论关系？

主要发现

• 在 MNIST 到 Fashion 的终身学习基准上，L-VAEGAN 实现了 4.34% 的半监督分类误差，优于 LGAN（5.46%），并接近最先进非终身学习模型的表现。
• 在持续学习过程中，该模型在先前任务上保持了高性能，遗忘极少，遗忘曲线分析显示准确率曲线稳定。
• 由于学习到了共享的潜在变量，L-VAEGAN 成功实现了跨域插值与推理，而现有 GRM 方法无法支持此功能。
• 理论分析表明，风险边界 $E(h^1(μ_1))$ 在整个训练过程中始终接近并有界于 $E(h^1(μ_1'))$，表明泛化性能稳定。
• 生成式回放样本的质量显著影响性能，L-VAEGAN 生成的图像质量高于基于 VAE 的基线方法（如 LGM），从而实现更优的遗忘缓解效果。
• 在 MNIST-MNIST 终身学习设置中，观测到的风险边界 $E(h^1(μ_1))$ 在训练过程中逐渐上升，反映出真实数据分布与生成数据分布之间对齐程度的提升。