[论文解读] Online Class-Incremental Continual Learning with Adversarial Shapley Value

Dongsub Shim, Zheda Mai+4 more|arXiv (Cornell University)|Aug 31, 2020

Domain Adaptation and Few-Shot Learning参考文献 35被引用 14

一句话总结

本文提出 ASER（对抗性 Shapley 值经验回放），一种用于在线类别增量持续学习的新颖记忆回放方法，通过使用对抗性 Shapley 值对经验回放样本进行评分，以平衡稳定性（保持旧类别边界）与可塑性（干扰新类别边界）。ASER μ 是一种鲁棒变体，在小内存预算下于 Mini-ImageNet 上实现了最先进性能，准确率提升最高达 40.2%。

ABSTRACT

As image-based deep learning becomes pervasive on every device, from cell phones to smart watches, there is a growing need to develop methods that continually learn from data while minimizing memory footprint and power consumption. While memory replay techniques have shown exceptional promise for this task of continual learning, the best method for selecting which buffered images to replay is still an open question. In this paper, we specifically focus on the online class-incremental setting where a model needs to learn new classes continually from an online data stream. To this end, we contribute a novel Adversarial Shapley value scoring method that scores memory data samples according to their ability to preserve latent decision boundaries for previously observed classes (to maintain learning stability and avoid forgetting) while interfering with latent decision boundaries of current classes being learned (to encourage plasticity and optimal learning of new class boundaries). Overall, we observe that our proposed ASER method provides competitive or improved performance compared to state-of-the-art replay-based continual learning methods on a variety of datasets.

研究动机与目标

• 为解决在线类别增量持续学习中的灾难性遗忘问题，即模型从无任务标识的流式数据源中学习新类别。
• 通过战略性地选择既能保持旧决策边界又能干扰新边界影响的样本，改进经验回放选择。
• 开发一种稳定且高效的回放评分机制，优于随机、MIR 及其他最先进回放基线方法。
• 在真实约束条件下评估性能，包括小内存缓冲区和复杂数据集（如 Mini-ImageNet 和 CIFAR-100）。
• 证明基于 Shapley 值的效用函数可有效平衡持续学习中的稳定性与可塑性。

提出的方法

• 提出对抗性 Shapley 值（ASV）作为评分函数，基于其对旧类别和新类别决策边界的影响来评估记忆样本的效用。
• ASV 计算每个记忆样本对模型在先前学习类别和当前任务上性能的边际贡献，从而促进那些能稳定旧知识并干扰新干扰的样本。
• 引入 ASER μ，一种鲁棒变体，通过在多个评估集上对 ASV 分数进行中位数聚合，降低对异常值的敏感性。
• 采用简化版 ResNet18 作为基础模型，使用 SGD 和交叉熵损失进行训练，记忆样本以每批 10 个的规模检索。
• 采用单头评估设置，要求模型在无任务标识的情况下对所有类别进行分类，以反映更真实的在线学习场景。
• 使用记忆缓冲区存储过去数据的子集，并通过 ASV 分数指导动态替换与检索策略。

实验结果

研究问题

• RQ1 基于 Shapley 值的评分方法是否能改善在线类别增量持续学习中的经验回放选择？
• RQ2 在小内存预算下，ASER 与随机回放、MIR 和 ER 等现有回放基线相比，在准确率和遗忘方面表现如何？
• RQ3 在评分函数中引入对抗性干扰是否能增强可塑性而不损害稳定性？
• RQ4 鲁棒变体 ASER μ 是否能缓解 ASV 在复杂数据集中对异常样本的敏感性？
• RQ5 ASER 的经验回放在 Mini-ImageNet 和 CIFAR-100 等复杂数据集上能将性能提升到何种程度？

主要发现

• 在内存大小为 1,000 个样本的 Mini-ImageNet 上，ASER μ 相较于最强基线（MIR）实现了 40.2% 的相对准确率提升。
• 在 Mini-ImageNet 上，当 M=1k 时，ASER μ 在内存大小为 2,000 和 5,000 时分别较 MIR 提升 25.4% 和 10.3%。
• ASER μ 在所有数据集和内存大小下均持续优于所有基线，尤其在复杂且数据稀缺的设置中表现更优。
• 使用 ASER μ 的经验回放显著优于正则化方法（如 EWC 和 AGEM），后者甚至低于微调基线。
• 即使简单的回放（ER）也表现具有竞争力，尤其在复杂数据集中，表明有效利用记忆对持续学习至关重要。
• 当内存大小超过 5,000 个样本（训练数据的 10%）时，大多数基于回放的方法超越了 iid-online 基线，证实了记忆在缓解遗忘中的价值。