[论文解读] Initial Classifier Weights Replay for Memoryless Class Incremental Learning

Eden Belouadah, Adrian Popescu+1 more|arXiv (Cornell University)|Aug 31, 2020

Domain Adaptation and Few-Shot Learning被引用 7

一句话总结

该论文提出了一种无记忆类增量学习方法，通过重放预训练模型中的初始分类器权重，利用标准化对权重进行归一化，并基于各状态的统计信息校准预测分数，从而缓解灾难性遗忘。该方法在大规模数据集上优于现有方法，在无需知识蒸馏或记忆回放的情况下实现了无记忆设置下的最先进准确率。

ABSTRACT

Incremental Learning (IL) is useful when artificial systems need to deal with streams of data and do not have access to all data at all times. The most challenging setting requires a constant complexity of the deep model and an incremental model update without access to a bounded memory of past data. Then, the representations of past classes are strongly affected by catastrophic forgetting. To mitigate its negative effect, an adapted fine tuning which includes knowledge distillation is usually deployed. We propose a different approach based on a vanilla fine tuning backbone. It leverages initial classifier weights which provide a strong representation of past classes because they are trained with all class data. However, the magnitude of classifiers learned in different states varies and normalization is needed for a fair handling of all classes. Normalization is performed by standardizing the initial classifier weights, which are assumed to be normally distributed. In addition, a calibration of prediction scores is done by using state level statistics to further improve classification fairness. We conduct a thorough evaluation with four public datasets in a memoryless incremental learning setting. Results show that our method outperforms existing techniques by a large margin for large-scale datasets.

研究动机与目标

• 解决在无法访问历史数据且模型复杂度固定的无记忆类增量学习中的灾难性遗忘问题。
• 克服普通微调方法导致的旧类别完全遗忘的局限性。
• 开发一种方法，利用初始分类器权重作为旧类别的稳定表征，而无需记忆回放或额外模型参数。
• 通过标准化分类器权重并基于各增量状态的统计信息校准预测分数，提升分类的公平性与准确性。
• 在严格的无记忆约束下，于大规模基准数据集上验证方法的有效性。

提出的方法

• 从训练于所有历史类别的模型中重放初始分类器权重，将其视为先验知识的稳定表征。
• 在各增量状态间对初始分类器权重进行标准化，以归一化其幅值，假设其服从正态分布。
• 利用各状态的统计信息对预测分数进行校准，提升旧类与新类预测之间的公平性。
• 以普通微调作为主干网络，避免使用知识蒸馏或架构修改。
• 在标准化后冻结初始分类器权重，并在推理阶段用于旧类预测。
• 结合标准化与校准，以在无记忆条件下增强模型的鲁棒性与泛化能力。

实验结果

研究问题

• RQ1 在无记忆增量学习设置中，预训练模型的初始分类器权重能否作为旧类别的可靠记忆？
• RQ2 对初始分类器权重进行标准化是否能提升模型稳定性并减少无记忆设置下的灾难性遗忘？
• RQ3 基于各状态统计信息的预测分数校准如何影响旧类与新类预测之间的公平性？
• RQ4 当结合初始权重重放与归一化时，简单的普通微调方法能否超越复杂方法（如知识蒸馏）？
• RQ5 所提出方法在增量步骤不断增加的大规模数据集上是否具有良好的可扩展性？

主要发现

• 所提方法 inFT^mc_siw 在 ILSVRC 上经过 20 个增量步骤后，取得 11.8% 的 top-1 准确率，显著优于普通微调（0.0%）和 LUCIR（6.0%）。
• 与 LUCIR 相比，inFT^mc_siw 显著降低了旧类之间的混淆度（e(p,p)），而 LUCIR 对旧类存在严重误判为新类的倾向（e(p,n) = 63.4%）。
• 初始分类器权重的标准化有效减少了灾难性遗忘并提升了泛化能力，表现为在首个增量状态即实现 38.4% 的旧类正确分类率。
• 该方法在各增量步骤间保持稳定性能，最终步骤中旧类 top-1 准确率达 12.5%，远超 LUCIR 的 6.0%。
• 预测分数校准有助于提升公平性，降低对新类的过度自信，改善整体分类结果的平衡性。
• 在四种公开数据集上，该方法在无记忆增量学习设置下达到最先进性能，证明了无需知识蒸馏即可有效实现初始权重重放。