[论文解读] Continual Learning via Online Leverage Score Sampling

Dan Teng, Sakyasingha Dasgupta|arXiv (Cornell University)|Aug 1, 2019

Domain Adaptation and Few-Shot Learning参考文献 35被引用 5

一句话总结

本文提出在线杠杆度数采样（OLSS），一种持续学习方法，利用统计杠杆度数和频繁方向算法，动态压缩并仅保留跨任务中最具信息量的数据样本。通过持续遗忘不重要的数据同时保留关键信息，OLSS 避免了灾难性遗忘，并在计算成本显著低于现有方法的情况下实现了最先进性能。

ABSTRACT

In order to mimic the human ability of continual acquisition and transfer of knowledge across various tasks, a learning system needs the capability for continual learning, effectively utilizing the previously acquired skills. As such, the key challenge is to transfer and generalize the knowledge learned from one task to other tasks, avoiding forgetting and interference of previous knowledge and improving the overall performance. In this paper, within the continual learning paradigm, we introduce a method that effectively forgets the less useful data samples continuously and allows beneficial information to be kept for training of the subsequent tasks, in an online manner. The method uses statistical leverage score information to measure the importance of the data samples in every task and adopts frequent directions approach to enable a continual or life-long learning property. This effectively maintains a constant training size across all tasks. We first provide mathematical intuition for the method and then demonstrate its effectiveness in avoiding catastrophic forgetting and computational efficiency on continual learning of classification tasks when compared with the existing state-of-the-art techniques.

研究动机与目标

• 通过实现对不必要数据样本的有效在线遗忘，解决持续学习中的灾难性遗忘问题。
• 通过逐步降低数据维度，在所有任务中保持恒定的训练规模。
• 开发一种可扩展、计算高效的持续学习方法，避免基于重放和正则化方法的内存与计算瓶颈。
• 模拟生物大脑通过统计采样和矩阵压缩在任务间压缩与泛化知识的能力。

提出的方法

• OLSS 使用统计杠杆度数衡量每个任务中数据样本的重要性，识别出对模型表征贡献最大的样本。
• 它应用频繁方向算法，维护过去和当前任务数据的紧凑低秩压缩表示，实现高效的在线压缩。
• 该方法将先前任务的压缩表示与当前任务数据结合，并执行杠杆度数采样，以选择用于训练的代表性子集。
• 通过在压缩的、重要性加权的数据上重新训练，OLSS 在学习新任务的同时保留了早期任务的知识。
• 该算法以在线方式运行，在每次新任务后更新压缩表示和采样分布，而无需存储完整的历史数据。
• 该方法在神经网络各层中平衡维度压缩与扩展，模拟生物学习机制。

实验结果

研究问题

• RQ1 基于杠杆度数的简单在线采样机制是否能有效防止持续学习中的灾难性遗忘？
• RQ2 OLSS 在准确率和效率方面与正则化、架构扩展和记忆重放方法相比表现如何？
• RQ3 通过频繁方向实现的数据压缩在减少训练数据规模的同时，能在多大程度上保持模型性能？
• RQ4 OLSS 在不出现性能下降或过高计算成本的前提下，能否有效扩展到大量任务序列？

主要发现

• 在旋转和置换的 MNIST 以及 CIFAR100 上，OLSS 在所有任务上的总体测试准确率均达到最优，优于 EWC、GEM、iCaRL 和 SGD。
• 在 CIFAR100 基准上，OLSS 在 10 个任务中平均测试准确率达到 68.2%，显著优于 EWC（58.1%）和 GEM（55.3%）。
• OLSS 在 CIFAR100 上的训练耗时仅为 1363 秒，远低于 GEM 的 17,868 秒和 EWC 的 1213 秒，展现出卓越的计算效率。
• 即使在训练完 10 个任务后，OLSS 仍能保持早期任务（如任务 1）的高准确率，平均达到 92.1%，优于 EWC 的 85.4% 和 GEM 的 83.7%。
• 在旋转 MNIST 上，OLSS 仅耗时 496 秒，在置换 MNIST 上为 455 秒，优于 EWC（944 秒和 896 秒）和 GEM（8688 秒和 8846 秒）。
• 该算法在各任务上表现稳定，早期任务的准确率下降极小，表明其具备有效的遗忘控制与知识保留能力。