[论文解读] Continual Variational Autoencoder Learning via Online Cooperative Memorization

Fei Ye, Adrian G. Borş|arXiv (Cornell University)|Jul 20, 2022

Domain Adaptation and Few-Shot Learning被引用 6

一句话总结

本文提出在线协作记忆化（OCM），一种用于持续变分自编码器的新型记忆缓冲框架，通过使用基于核函数的多样性准则，在无需类别标签的情况下，动态地将多样化的样本从短期记忆（STM）转移到长期记忆（LTM），从而在持续学习中提升生成建模性能。该方法在持续学习基准上表现优异，以极低的参数开销实现了重建质量与分类准确率的最先进水平。

ABSTRACT

Due to their inference, data representation and reconstruction properties, Variational Autoencoders (VAE) have been successfully used in continual learning classification tasks. However, their ability to generate images with specifications corresponding to the classes and databases learned during Continual Learning (CL) is not well understood and catastrophic forgetting remains a significant challenge. In this paper, we firstly analyze the forgetting behaviour of VAEs by developing a new theoretical framework that formulates CL as a dynamic optimal transport problem. This framework proves approximate bounds to the data likelihood without requiring the task information and explains how the prior knowledge is lost during the training process. We then propose a novel memory buffering approach, namely the Online Cooperative Memorization (OCM) framework, which consists of a Short-Term Memory (STM) that continually stores recent samples to provide future information for the model, and a Long-Term Memory (LTM) aiming to preserve a wide diversity of samples. The proposed OCM transfers certain samples from STM to LTM according to the information diversity selection criterion without requiring any supervised signals. The OCM framework is then combined with a dynamic VAE expansion mixture network for further enhancing its performance.

研究动机与目标

• 为解决在任务无关持续学习（TFCL）场景下，任务身份未知时持续变分自编码器（VAEs）中的灾难性遗忘问题。
• 构建一个理论基础坚实的框架，利用动态最优传输（OT）理论解释VAE在TFCL过程中遗忘行为的内在机制。
• 设计一种无需依赖监督信号或先验任务信息的记忆机制，以保持数据多样性。
• 将OCM框架与动态VAE混合网络相结合，实现可扩展、高性能的终身生成建模。

提出的方法

• 将持续学习建模为动态最优传输问题，推导出数据似然性的理论边界，揭示记忆多样性在缓解遗忘中的关键作用。
• 提出在线协作记忆化（OCM），包含两个记忆组件：用于近期数据的短期记忆（STM）和用于长期保留的长期记忆（LTM）。
• 引入基于核函数的相似性度量，评估STM中样本的多样性，无需类别标签即可选择代表性样本转移至LTM。
• 采用动态VAE扩展混合网络，自适应地增加新组件以建模任务间的数据分布变化。
• 基于核化距离设计阈值机制，判断何时将样本从STM转移至LTM，确保多样性并避免冗余。
• 结合ELBO优化进行VAE训练，实现端到端学习，在TFCL下仅需极少的网络结构修改。

实验结果

研究问题

• RQ1 在任务无关持续学习下，VAE中的灾难性遗忘如何表现？其行为背后的理论原则是什么？
• RQ2 能否设计一种记忆缓冲系统，在不依赖类别标签或任务身份的情况下保持数据多样性？
• RQ3 记忆多样性对持续VAE训练中重建数据似然性有何影响？
• RQ4 所提出的OCM框架在重建质量与泛化性能方面，相较于现有基于记忆或基于扩展的VAE方法表现如何？

主要发现

• 理论分析表明，在TFCL下的VAE中，数据似然性受最优传输距离的约束，记忆多样性对于维持性能至关重要。
• OCM结合动态扩展在Cross-Domain和ImageNet数据集上优于LIMix与CNDPM，使用更少的混合组件和更低的内存占用。
• 在Split MNIST和CIFAR10上，Dynamic-OCM实现94.02%的准确率，仅使用2.0K个LTM样本，超越现有最先进方法。
• 在ImageNet上，OCM结合扩展方法实现IS 6.36和FID 133.23，显著优于随机记忆选择（IS 3.15，FID 145.36）。
• OCM框架提升了重建质量，表现为生成图像更清晰，FID分数更低，优于随机采样基线方法。
• 该方法可泛化至分类任务，在Split MNIST、CIFAR10和CIFAR100上实现SOTA性能，且参数量少于竞争方法。