[论文解读] BiRT: Bio-inspired Replay in Vision Transformers for Continual Learning

Kishaan Jeeveswaran, Prashant Bhat+2 more|arXiv (Cornell University)|May 8, 2023

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

BiRT 提出了一种受生物启发的持续学习方法，用于视觉变换器（Vision Transformers），通过在表征回放过程中引入受控噪声，以缓解灾难性遗忘问题。通过强制工作模型与其指数移动平均（EMA）语义记忆之间的预测一致性，BiRT 在 CIFAR-100、ImageNet-100 和 TinyImageNet 基准测试中，相较于原始图像回放和普通表征回放，实现了更高的准确率、更强的抗干扰能力以及更高的内存效率。

ABSTRACT

The ability of deep neural networks to continually learn and adapt to a sequence of tasks has remained challenging due to catastrophic forgetting of previously learned tasks. Humans, on the other hand, have a remarkable ability to acquire, assimilate, and transfer knowledge across tasks throughout their lifetime without catastrophic forgetting. The versatility of the brain can be attributed to the rehearsal of abstract experiences through a complementary learning system. However, representation rehearsal in vision transformers lacks diversity, resulting in overfitting and consequently, performance drops significantly compared to raw image rehearsal. Therefore, we propose BiRT, a novel representation rehearsal-based continual learning approach using vision transformers. Specifically, we introduce constructive noises at various stages of the vision transformer and enforce consistency in predictions with respect to an exponential moving average of the working model. Our method provides consistent performance gain over raw image and vanilla representation rehearsal on several challenging CL benchmarks, while being memory efficient and robust to natural and adversarial corruptions.

研究动机与目标

• 为解决视觉变换器在持续学习中面临的灾难性遗忘问题，这是终身人工智能中的一个主要挑战。
• 克服原始图像回放的局限性，包括内存效率低下和隐私问题。
• 通过引入受生物启发的噪声机制，改善表征回放中的泛化能力。
• 开发一种内存高效、鲁棒的持续学习框架，以模拟大脑的双记忆系统。
• 在任务序列中实现稳定性能，具备强大的正向迁移能力，并对自然和对抗性扰动具有鲁棒性。

提出的方法

• BiRT 采用双记忆系统：一个工作模型和通过工作模型权重的指数移动平均（EMA）形成的语义记忆。
• 在多个阶段注入构造性噪声：混合表示、噪声注意力图、噪声语义记忆输出和噪声目标。
• 一致性正则化强制在噪声扰动下，工作模型的预测与语义记忆的预测保持一致。
• 该方法将先前任务的高层表征存储在缓冲区中，实现高效回放，无需存储原始图像。
• 噪声类型被设计为模拟生物中的试次间变异性，促进泛化并减少回放过程中的过拟合。
• 该方法端到端应用于视觉变换器，利用自注意力机制实现鲁棒的特征学习。

实验结果

研究问题

• RQ1 在表征回放中引入受控噪声是否能提升视觉变换器持续学习中的泛化能力并减少过拟合？
• RQ2 基于 EMA 的语义记忆是否能通过受生物启发的双记忆系统增强稳定性并减少灾难性遗忘？
• RQ3 在准确率、鲁棒性和内存效率方面，BiRT 与原始图像回放和普通表征回放相比表现如何？
• RQ4 噪声注入在多大程度上提升了持续学习对自然和对抗性扰动的鲁棒性？
• RQ5 所提出的方法能否在任务序列中保持显著图像区域的注意力图，表明遗忘程度降低？

主要发现

• 在 CIFAR-100、ImageNet-100 和 TinyImageNet 基准测试中，BiRT 相较于原始图像回放和普通表征回放，均实现了稳定的性能提升。
• 在 CIFAR-100 上，当缓冲区大小为 500 时，BiRT 在所有指标下均优于 DyTox 的 top-1 准确率，展现出更优的稳定性和可塑性。
• BiRT 对自然和对抗性扰动均表现出强鲁棒性，在不同攻击强度下均保持高性能。
• 注意力图分析表明，与 DyTox 相比，BiRT 更好地保留了首个任务中显著区域的注意力，表明遗忘程度更低。
• 该方法内存效率高，且不引发隐私问题，因为它仅存储高层表征，而非原始图像。
• 实验结果表明，BiRT 对超参数不敏感，体现出良好的鲁棒性与实际可部署性。