[论文解读] ACIL: Analytic Class-Incremental Learning with Absolute Memorization and Privacy Protection

Huiping Zhuang, Zhenyu Weng+4 more|arXiv (Cornell University)|May 30, 2022

Domain Adaptation and Few-Shot Learning被引用 11

一句话总结

ACIL 提出了一种分析性类增量学习方法，可在不存储历史数据的情况下实现对过去知识的绝对记忆，确保数据隐私的同时性能与联合学习相当。它通过递归线性学习和特征扩展，在大规模增量阶段保持高准确率，优于当前最先进方法，在25和50阶段设置下表现更优。

ABSTRACT

Class-incremental learning (CIL) learns a classification model with training data of different classes arising progressively. Existing CIL either suffers from serious accuracy loss due to catastrophic forgetting, or invades data privacy by revisiting used exemplars. Inspired by linear learning formulations, we propose an analytic class-incremental learning (ACIL) with absolute memorization of past knowledge while avoiding breaching of data privacy (i.e., without storing historical data). The absolute memorization is demonstrated in the sense that class-incremental learning using ACIL given present data would give identical results to that from its joint-learning counterpart which consumes both present and historical samples. This equality is theoretically validated. Data privacy is ensured since no historical data are involved during the learning process. Empirical validations demonstrate ACIL's competitive accuracy performance with near-identical results for various incremental task settings (e.g., 5-50 phases). This also allows ACIL to outperform the state-of-the-art methods for large-phase scenarios (e.g., 25 and 50 phases).

研究动机与目标

• 为解决类增量学习（CIL）中的灾难性遗忘问题，且不依赖历史数据的回放。
• 通过消除增量学习过程中对过去样本的存储或重新访问，确保数据隐私。
• 实现绝对记忆，即 ACIL 的增量学习结果与使用全部数据进行联合学习的结果完全一致。
• 在大量增量阶段中保持高准确率，尤其在具有挑战性的25和50阶段设置下表现优异。
• 为基于回放和正则化的方法提供一种理论基础坚实且内存高效的替代方案。

提出的方法

• ACIL 将增量学习形式化为基于特征表示的递归分析学习过程，采用线性回归。
• 通过特征扩展（FE）模块增加特征维度，缓解线性公式中的欠拟合问题。
• 引入带有超参数 γ 的正则化项，以稳定训练并提升泛化能力。
• 仅存储表示过去知识的紧凑矩阵 Rk，而非原始数据，从而实现隐私保护。
• 递归更新规则确保每个阶段后模型参数与使用全部数据至该点进行联合训练所得参数等价。
• 该方法在理论上被证明可实现绝对记忆，即模型对过去类别的输出与联合学习完全一致。

实验结果

研究问题

• RQ1 是否存在一种类增量学习方法，可在不存储历史数据的情况下实现对过去知识的绝对记忆？
• RQ2 此类方法是否能在大规模增量阶段（如25或50阶段）中保持高准确率而不出现性能下降？
• RQ3 该方法是否通过避免对过去数据的任何访问或存储，确保了数据隐私？
• RQ4 与现有基于回放和正则化的 CIL 方法相比，所提出的分析性学习公式在准确率和稳定性方面表现如何？
• RQ5 特征扩展和正则化对模型性能和鲁棒性有何影响？

主要发现

• ACIL 在所有增量阶段均实现了与联合学习近乎相同的准确率，证明了绝对记忆的实现。
• 在 ImageNet-Full 的 50 阶段 CIL 中，ACIL 达到 65.95% 的平均准确率，优于当前最先进方法。
• 在 CIFAR-100 的 25 阶段 CIL 中，ACIL 达到 65.95% 的准确率，显著超越 SOTA。
• ACIL 在 50 阶段 ImageNet-Full 中的遗忘率仅为 2.75%，远低于 LUCIR+Mnemonics 的 13.63%，表现出极强的稳定性。
• 消融实验表明，特征扩展和正则化至关重要，若移除二者，准确率将从 66.30% 降至 52.99%。
• ACIL 仅用 6400 万个参数（8k×8k 矩阵）存储知识，使其在 ImageNet 等大规模数据集上具备内存效率。