[论文解读] CAM-GAN: Continual Adaptation Modules for Generative Adversarial Networks

Sakshi Varshney, Vinay Kumar Verma+3 more|arXiv (Cornell University)|Mar 6, 2021

Generative Adversarial Networks and Image Synthesis被引用 8

一句话总结

该论文提出CAM-GAN，一种针对生成对抗网络（GANs）的内存高效持续学习框架，通过使用特定于任务的适配器模块和特征空间中的残差偏置，防止灾难性遗忘。通过利用任务相似性，基于Fisher信息矩阵嵌入进行初始化，该方法在参数量比先前方法减少36%的情况下，实现了最先进性能。

ABSTRACT

We present a continual learning approach for generative adversarial networks (GANs), by designing and leveraging parameter-efficient feature map transformations. Our approach is based on learning a set of global and task-specific parameters. The global parameters are fixed across tasks whereas the task-specific parameters act as local adapters for each task, and help in efficiently obtaining task-specific feature maps. Moreover, we propose an element-wise addition of residual bias in the transformed feature space, which further helps stabilize GAN training in such settings. Our approach also leverages task similarity information based on the Fisher information matrix. Leveraging this knowledge from previous tasks significantly improves the model performance. In addition, the similarity measure also helps reduce the parameter growth in continual adaptation and helps to learn a compact model. In contrast to the recent approaches for continually-learned GANs, the proposed approach provides a memory-efficient way to perform effective continual data generation. Through extensive experiments on challenging and diverse datasets, we show that the feature-map-transformation approach outperforms state-of-the-art methods for continually-learned GANs, with substantially fewer parameters. The proposed method generates high-quality samples that can also improve the generative-replay-based continual learning for discriminative tasks.

研究动机与目标

• 为解决生成对抗网络（GANs）持续学习中的灾难性遗忘问题，该问题相较于判别模型仍研究不足。
• 设计一种参数高效且可扩展的架构，避免在持续适应过程中对先前学习任务的性能下降。
• 在保持多任务高质量样本生成能力的同时，减少模型增长和FLOP成本。
• 将任务相似性信息融入模型初始化，以加速收敛并提升性能。
• 通过生成高质量、特定于任务的GAN样本，实现判别任务中持续学习的有效生成式回放。

提出的方法

• 模型使用一个在初始任务上训练的、全局参数固定的基线GAN，这些参数在后续训练中保持冻结。
• 对于每个新任务，添加特定于任务的适配器模块（1×1卷积），将全局特征图转换为特定于任务的特征图，实现高效适应。
• 在变换后的特征空间中引入残差偏置，以稳定训练，防止生成器和判别器损失发散。
• 通过每卷积核的Fisher信息矩阵均值来度量任务相似性，实现新任务适配器的相似性感知初始化。
• 采用动态扩展策略，仅更新特定于任务的适配器参数，最大限度减少参数增长。
• 采用高效架构选择，如分组卷积和逐点卷积，以保持特定于任务参数数量紧凑。

实验结果

研究问题

• RQ1 一种参数高效且可扩展的GAN架构是否能在不重新训练先前数据的情况下，防止持续学习中的灾难性遗忘？
• RQ2 在变换后的特征空间中引入残差偏置如何提升持续GAN训练的稳定性？
• RQ3 通过Fisher信息矩阵嵌入引入任务相似性，在多大程度上能提升模型性能并减少参数需求？
• RQ4 所提出方法能否生成高质量、特定于任务的样本，适用于判别任务中持续学习的生成式回放？
• RQ5 在FID分数和参数效率方面，CAM-GAN与最先进方法相比表现如何？

主要发现

• CAM-GAN在多个数据集上实现了最先进FID分数，且参数量比现有方法减少36%，展现出卓越的参数效率。
• 仅占总参数量约1%的1×1适配器模块显著提升了性能，若移除这些模块，FID分数将出现显著下降。
• 在变换后的特征空间中引入残差偏置可稳定训练，防止损失发散，使训练在长达600K次迭代内保持稳定。
• 基于任务相似性的初始化可将所需特定于任务的参数数量减少最多50%，同时保持与全参数初始化相当的性能。
• 模型未出现灾难性遗忘，因全局参数保持冻结，先前任务的性能得以完整保留。
• 生成的样本质量高，适用于生成式回放，能有效提升判别任务中持续学习的性能。