[论文解读] Lifelong Machine Learning with Deep Streaming Linear Discriminant Analysis

Tyler L. Hayes, Christopher Kanan|arXiv (Cornell University)|Sep 4, 2019

Data Stream Mining Techniques参考文献 53被引用 13

一句话总结

该论文提出了一种轻量级、增量学习的方法——深度流式线性判别分析（Deep Streaming Linear Discriminant Analysis, Deep SLDA），仅通过流式SLDA训练卷积神经网络（CNN）的输出层，以缓解灾难性遗忘问题。该方法在ImageNet和CORe50数据集上实现了最先进性能，甚至超越了全网络增量批量学习方法，同时速度提升100倍以上，内存占用减少1000倍。

ABSTRACT

When an agent acquires new information, ideally it would immediately be capable of using that information to understand its environment. This is not possible using conventional deep neural networks, which suffer from catastrophic forgetting when they are incrementally updated, with new knowledge overwriting established representations. A variety of approaches have been developed that attempt to mitigate catastrophic forgetting in the incremental batch learning scenario, where a model learns from a series of large collections of labeled samples. However, in this setting, inference is only possible after a batch has been accumulated, which prohibits many applications. An alternative paradigm is online learning in a single pass through the training dataset on a resource constrained budget, which is known as streaming learning. Streaming learning has been much less studied in the deep learning community. In streaming learning, an agent learns instances one-by-one and can be tested at any time, rather than only after learning a large batch. Here, we revisit streaming linear discriminant analysis, which has been widely used in the data mining research community. By combining streaming linear discriminant analysis with deep learning, we are able to outperform both incremental batch learning and streaming learning algorithms on both ImageNet ILSVRC-2012 and CORe50, a dataset that involves learning to classify from temporally ordered samples.

研究动机与目标

• 解决在严格资源约束和实时数据流下深度学习中的灾难性遗忘问题。
• 通过从增量批量学习转向流式学习，实现在每个样本后立即进行推理。
• 为内存和计算资源有限的嵌入式系统中的设备端终身学习，开发一种轻量级、可部署的解决方案。
• 证明仅通过流式LDA微调输出层，即可在准确率和鲁棒性上达到或超过全网络增量学习方法。

提出的方法

• 将预训练的CNN与流式线性判别分析（SLDA）结合，仅对最终分类层进行增量训练。
• 利用SLDA的在线更新规则，以递归方式高效维护类别均值和类内散布矩阵，实现内存高效计算。
• 使用ImageNet或CORe50中的基础类别初始化模型，实现领域迁移，且无需完整的重新训练阶段。
• 在CNN主干网络的离线预训练过程中应用标准数据增强（如随机裁剪、翻转）。
• 在流式处理过程中使用可塑性协方差矩阵，以适应非独立同分布（non-iid）数据顺序，提升泛化能力。
• 通过仅依赖SLDA提供的统计摘要，避免存储历史数据或使用生成模型，从而显著降低内存和计算开销。

实验结果

研究问题

• RQ1 将流式LDA应用于深度特征，是否能在准确率和效率上超越全网络增量学习方法？
• RQ2 与标准基线相比，Deep SLDA在非独立同分布数据顺序（如按类别或实例排序的流）下表现如何？
• RQ3 在未对CORe50进行基础初始化的情况下，仅在ImageNet特征上初始化SLDA，其领域迁移能力能达到何种程度？
• RQ4 仅通过SLDA微调输出层，是否足以提供超越更新隐藏层方法的性能？
• RQ5 SLDA是否能在极低内存和计算开销下，有效应用于终身学习场景？

主要发现

• 在所有测试方法中，Deep SLDA在ImageNet ILSVRC-2012上的最终top-5准确率最高，优于所有流式学习和增量批量学习基线方法。
• 在CORe50上，尽管仅更新输出层且内存占用减少1000倍，Deep SLDA在Ω_all指标上仍比iCaRL高出11%。
• 该模型运行速度比iCaRL和端到端训练方法快逾100倍，支持在每个样本后实现实时推理。
• 在类别有序数据上，使用全1初始化协方差矩阵可获得最佳性能，表明对基础类别的过拟合程度降低。
• SLDA展现出强大的领域迁移能力：在ImageNet特征上初始化的模型，即使未在CORe50上进行基础初始化，其微调性能仍与原始性能相差仅1.0%至5.6%。
• 该方法对非独立同分布数据流具有强鲁棒性，在所有数据排序方式下（包括具有挑战性的类别有序和实例有序序列）均保持高性能。