[论文解读] Improving Task-free Continual Learning by Distributionally Robust Memory Evolution

Zhenyi Wang, Li Shen+4 more|arXiv (Cornell University)|Jul 15, 2022

Domain Adaptation and Few-Shot Learning被引用 10

一句话总结

本文提出了一种用于无任务持续学习的分布鲁棒优化（DRO）框架，通过Wasserstein梯度流（WGF）动态演化记忆数据分布，以减少过拟合并提升鲁棒性。通过在演化记忆分布下优化最坏情况性能，该方法显著减少了灾难性遗忘，并增强了对对抗性样本的鲁棒性，在PGD攻击下相比基线方法提升4%–12%，并在强Carlini & Wagner攻击下保持较高准确率。

ABSTRACT

Task-free continual learning (CL) aims to learn a non-stationary data stream without explicit task definitions and not forget previous knowledge. The widely adopted memory replay approach could gradually become less effective for long data streams, as the model may memorize the stored examples and overfit the memory buffer. Second, existing methods overlook the high uncertainty in the memory data distribution since there is a big gap between the memory data distribution and the distribution of all the previous data examples. To address these problems, for the first time, we propose a principled memory evolution framework to dynamically evolve the memory data distribution by making the memory buffer gradually harder to be memorized with distributionally robust optimization (DRO). We then derive a family of methods to evolve the memory buffer data in the continuous probability measure space with Wasserstein gradient flow (WGF). The proposed DRO is w.r.t the worst-case evolved memory data distribution, thus guarantees the model performance and learns significantly more robust features than existing memory-replay-based methods. Extensive experiments on existing benchmarks demonstrate the effectiveness of the proposed methods for alleviating forgetting. As a by-product of the proposed framework, our method is more robust to adversarial examples than existing task-free CL methods. Code is available on GitHub \url{https://github.com/joey-wang123/DRO-Task-free}

研究动机与目标

• 解决无任务持续学习中因模型记忆固定记忆缓冲区而导致的过拟合问题，从而丧失先前知识。
• 减少记忆数据与全部历史数据真实分布之间的分布差距，该问题在现有方法中常被忽略。
• 通过在演化记忆分布下优化最坏情况性能，提升模型对对抗性样本的鲁棒性。
• 开发一种原理清晰、动态的记忆演化框架，具备通用性、灵活性，并可扩展至多种记忆更新策略。
• 通过分布鲁棒优化，在记忆数据分布存在高不确定性时确保性能保障。

提出的方法

• 构建一个动态DRO目标，最小化在初始记忆分布邻域内演化记忆分布下的最坏情况性能。
• 在概率测度空间中将记忆演化建模为连续过程，利用Wasserstein梯度流（WGF），实现在无限维空间中的基于梯度的优化。
• 推导出三种具体的记忆演化方法：Langevin动力学（WGF-LD）、Stein变分梯度下降（WGF-SVGD）和哈密顿流（WGF-HMC），以实现实际应用。
• 定义一个能量泛函，结合遗忘度量与分布距离，引导记忆数据向历史数据的平稳分布演化。
• 通过概率测度空间中的函数梯度下降求解无限维优化问题，利用连续动力学实现。
• 将演化后的记忆集成到标准经验回放（ER）或记忆增量回放（MIR）框架中进行训练。

实验结果

研究问题

• RQ1 通过DRO实现的动态记忆分布演化是否能显著减少无任务持续学习中的灾难性遗忘？
• RQ2 在演化记忆分布下优化最坏情况性能是否能提升对对抗性样本的鲁棒性？
• RQ3 记忆数据与完整数据分布之间的分布差距如何影响持续学习中的模型泛化能力？
• RQ4 基于WGF的记忆演化能否生成更难、更多样化的记忆样本，从而抵抗记忆化？
• RQ5 不同基于WGF的演化策略（如LD、SVGD、HMC）在性能与鲁棒性方面如何比较？

主要发现

• 在CIFAR-10、CIFAR-100和Mini-ImageNet上，所提方法在PGD ℓ∞攻击下相比标准经验回放（ER）提升4%–12%。
• 在强Carlini & Wagner攻击下，ER基线准确率降至0%，而所提方法在CIFAR-10、CIFAR-100和Mini-ImageNet上分别保持6.1%、3.0%和3.1%的准确率。
• WGF-HMC和WGF-LD相比WGF-SVGD表现出更优的鲁棒性，可能归因于对输入空间更好的探索能力以及生成更难样本的能力。
• 随着演化步数增加，性能略有提升，5步被选为效率与效果之间的平衡点。
• 在不同记忆缓冲区大小（如3000–10000）下，该方法保持一致的性能增益，WGF-LD和WGF-HMC平均比ER和MIR基线高出2%–3%。
• 计算成本为标准ER的3–4倍，但该框架具备通用性与可扩展性，未来可进一步优化效率。