[论文解读] Memory Efficient Experience Replay for Streaming Learning

Tyler L. Hayes, Nathan D. Cahill+1 more|arXiv (Cornell University)|Sep 16, 2018

Data Stream Mining Techniques参考文献 70被引用 9

一句话总结

本文提出 ExStream，一种针对深度神经网络（DNN）流式学习的内存高效回放方法，通过流式聚类实现自适应原型选择，以减少内存使用量，同时防止灾难性遗忘。ExStream 在性能上优于 CluStream 和 HPStream 等基线方法，在仅使用一半内存且无需超参数调优的情况下实现高准确率，尤其在非独立同分布（non-iid）数据流中缓冲区容量受限时表现更优。

ABSTRACT

In supervised machine learning, an agent is typically trained once and then deployed. While this works well for static settings, robots often operate in changing environments and must quickly learn new things from data streams. In this paradigm, known as streaming learning, a learner is trained online, in a single pass, from a data stream that cannot be assumed to be independent and identically distributed (iid). Streaming learning will cause conventional deep neural networks (DNNs) to fail for two reasons: 1) they need multiple passes through the entire dataset; and 2) non-iid data will cause catastrophic forgetting. An old fix to both of these issues is rehearsal. To learn a new example, rehearsal mixes it with previous examples, and then this mixture is used to update the DNN. Full rehearsal is slow and memory intensive because it stores all previously observed examples, and its effectiveness for preventing catastrophic forgetting has not been studied in modern DNNs. Here, we describe the ExStream algorithm for memory efficient rehearsal and compare it to alternatives. We find that full rehearsal can eliminate catastrophic forgetting in a variety of streaming learning settings, with ExStream performing well using far less memory and computation.

研究动机与目标

• 解决在非独立同分布（non-iid）数据流上在线训练 DNN 时出现的灾难性遗忘问题，无需完整重训。
• 开发一种内存高效的回放策略，在有限缓冲区容量下保持高性能。
• 评估并比较多种回放中的原型选择方法，包括流式聚类和在线 k-means。
• 提出 ExStream，一种新颖框架，结合自适应原型存储与高效的 DNN 微调，用于流式分类。
• 证明完整回放可完全消除灾难性遗忘，且内存高效的变体可在资源使用更少的情况下实现或超越其性能。

提出的方法

• ExStream 使用流式聚类算法维护一组紧凑的代表性原型，而非存储所有历史样本。
• 通过在线 k-means 聚类动态分组相似数据点，并仅将聚类中心作为回放内存存储。
• 基于原型的代表性与多样性选择原型，降低内存占用，同时保留知识。
• 训练过程中，使用新数据与缓冲区中所选原型的混合批次对 DNN 进行微调。
• 通过替换旧原型或根据接近度与聚类密度将新点合并到现有聚类的方式更新缓冲区。
• ExStream 通过使用固定且自适应的聚类策略避免超参数调优，该策略可随数据流特征自适应扩展。

实验结果

研究问题

• RQ1 在非独立同分布（non-iid）数据分布下，完整回放是否能完全消除流式 DNN 学习中的灾难性遗忘？
• RQ2 在不同缓冲区大小下，各种内存高效的回放策略在准确率与内存使用方面如何比较？
• RQ3 ExStream 在独立同分布（iid）与非独立同分布（non-iid）数据流设置下是否均优于现有流式聚类与回放方法？
• RQ4 在缓冲区容量受限时，原型选择策略对模型性能有何影响？
• RQ5 在大规模类别不平衡数据集上，使用单一共享缓冲区是否能提升可扩展性与性能？

主要发现

• 完整回放在所有测试的流式学习基准（包括 iCub1、CORe50 和 CUB-200）中成功消除了灾难性遗忘。
• ExStream 在准确率方面优于 CluStream 和 HPStream，尤其在小缓冲区尺寸下表现更优，且内存使用仅为这些方法的一半。
• ExStream 在非独立同分布（non-iid）数据流上表现更优，尤其在使用流式聚类进行原型选择时。
• 在线 k-means 与流式聚类方法在独立同分布（iid）与非独立同分布（non-iid）数据顺序下均保持了稳定性能，而简单方法（如 FIFO 队列）则表现不稳定。
• 该方法即使在极少超参数调优下仍表现良好，适用于嵌入式设备的实际部署。
• 在 CUB-200 数据集上，流式聚类技术显著提升了小缓冲区尺寸下的性能，凸显其在低资源环境中的价值。