[论文解读] Carousel Memory: Rethinking the Design of Episodic Memory for Continual Learning

Soobee Lee, Minindu Weerakoon+4 more|arXiv (Cornell University)|Oct 14, 2021

Domain Adaptation and Few-Shot Learning参考文献 49被引用 15

一句话总结

本文提出了一种分层情景记忆系统 Carousel Memory（CarM），通过在快速的设备内存（RAM）与较慢但容量更大的存储之间动态交换数据，缓解持续学习中的灾难性遗忘问题。通过智能管理数据迁移，CarM 在七种持续学习方法中将模型准确率最高提升 28.4%，且未牺牲训练效率，即使在 RAM 有限和存储带宽较低的情况下依然表现良好。

ABSTRACT

Continual Learning (CL) is an emerging machine learning paradigm that aims to learn from a continuous stream of tasks without forgetting knowledge learned from the previous tasks. To avoid performance decrease caused by forgetting, prior studies exploit episodic memory (EM), which stores a subset of the past observed samples while learning from new non-i.i.d. data. Despite the promising results, since CL is often assumed to execute on mobile or IoT devices, the EM size is bounded by the small hardware memory capacity and makes it infeasible to meet the accuracy requirements for real-world applications. Specifically, all prior CL methods discard samples overflowed from the EM and can never retrieve them back for subsequent training steps, incurring loss of information that would exacerbate catastrophic forgetting. We explore a novel hierarchical EM management strategy to address the forgetting issue. In particular, in mobile and IoT devices, real-time data can be stored not just in high-speed RAMs but in internal storage devices as well, which offer significantly larger capacity than the RAMs. Based on this insight, we propose to exploit the abundant storage to preserve past experiences and alleviate the forgetting by allowing CL to efficiently migrate samples between memory and storage without being interfered by the slow access speed of the storage. We call it Carousel Memory (CarM). As CarM is complementary to existing CL methods, we conduct extensive evaluations of our method with seven popular CL methods and show that CarM significantly improves the accuracy of the methods across different settings by large margins in final average accuracy (up to 28.4%) while retaining the same training efficiency.

研究动机与目标

• 解决在设备内存容量有限的移动设备和物联网设备上持续学习（CL）中的灾难性遗忘问题。
• 克服传统情景记忆（EM）因溢出样本被丢弃而导致永久性信息丢失的局限性。
• 利用设备上丰富的存储空间保留过往经验，提升模型准确率，同时不降低训练速度。
• 设计一种系统，在存储访问速度较慢的情况下，通过隐藏 I/O 延迟实现异步数据交换，从而保持高训练效率。
• 证明在真实硬件约束下，分层内存管理可显著提升现有持续学习方法的有效性。

提出的方法

• 提出一种分层内存架构，利用快速 RAM 进行活跃训练，使用大容量内部存储长期保留历史数据。
• 实现一种在线、异步的数据交换机制，通过将数据传输与模型训练计算重叠，隐藏 I/O 延迟。
• 设计一种基于学习模型的门控策略，以决定哪些样本在 RAM 与存储之间交换，兼顾系统效率与模型准确率。
• 采用动态交换策略，根据样本对减少遗忘的潜在贡献进行优先级排序，平衡 I/O 开销与准确率增益。
• 将 CarM 作为即插即用模块集成到现有 CL 方法中，支持单次遍历与多次遍历训练策略。
• 采用分层内存管理策略，将样本保留在存储中以超越 EM 容量限制，避免永久性数据丢失。

实验结果

研究问题

• RQ1 利用设备存储空间保留溢出的情景记忆样本，能否显著减少持续学习中的灾难性遗忘？
• RQ2 如何设计 RAM 与存储之间的数据交换机制，以在存储访问速度较慢的情况下仍保持训练效率？
• RQ3 与传统仅依赖内存的情景记忆方法相比，所提出的分层内存管理在多大程度上提升了模型准确率？
• RQ4 CarM 的性能在不同 EM 大小、存储容量和数据交换比例下如何变化？
• RQ5 当存储空间受限时，CarM 是否能有效支持长期持续学习，覆盖大量任务？

主要发现

• 在 CIFAR-100 上，CarM 相较于基线 CL 方法，在七种不同算法中将最终平均准确率最高提升 28.4%。
• 在 EM 大小为 300 的情况下，CarM-50 搭配 DER++ 的性能优于纯 DER++ 在 EM 大小为 1000 的情况，表明数据交换使更小的 EM 能够超越更大的 EM。
• 即使在仅 20% 的低交换比例下，CarM 仍能保持高准确率，表明其在 I/O 带宽受限系统中的有效性。
• 当存储容量低至 EM 大小的 1.5 倍时，CarM 仍优于传统方法，显示出对存储约束的强鲁棒性。
• 在 CIFAR-100 的 50 个任务划分中，CarM 显著优于基线方法，证实其在长期持续学习中的可扩展性。
• 异步交换机制成功隐藏了 I/O 延迟，即使频繁在内存与存储间传输数据，也保持了训练效率。