[论文解读] Adversarial Shapley Value Experience Replay for Task-Free Continual Learning.

Zheda Mai, Dongsub Shim+4 more|arXiv (Cornell University)|Aug 31, 2020

Domain Adaptation and Few-Shot Learning参考文献 31被引用 5

一句话总结

本文提出对抗性 Shapley 值经验回放（ASER），一种新颖的任务无关持续学习方法，通过使用对抗性 Shapley 值对记忆样本进行评分，以平衡稳定性与可塑性。通过优先选择能保持旧决策边界但同时破坏当前决策边界的样本，ASER 在多个数据集上的表现优于或媲美当前最先进（SOTA）的 ER 方法。

ABSTRACT

Continual learning is a branch of deep learning that seeks to strike a balance between learning stability and plasticity. In this paper, we specifically focus on the task-free setting where data are streamed online without task metadata and clear task boundaries. A simple and highly effective algorithm class for this setting is known as Experience Replay (ER) that selectively stores data samples from previous experience and leverages them to interleave memory-based and online batch learning updates. Recent advances in ER have proposed novel methods for scoring which samples to store in memory and which memory samples to interleave with online data during learning updates. In this paper, we contribute a novel Adversarial Shapley value ER (ASER) method that scores memory data samples according to their ability to preserve latent decision boundaries for previously observed classes (to maintain learning stability and avoid forgetting) while interfering with latent decision boundaries of current classes being learned (to encourage plasticity and optimal learning of new class boundaries). Overall, we observe that ASER provides competitive or improved performance on a variety of datasets compared to state-of-the-art ER-based continual learning methods.

研究动机与目标

• 为解决无任务边界或元数据的持续学习挑战。
• 通过保留先前见过类别在潜在空间中的决策边界来提升学习的稳定性。
• 通过干扰当前学习类别决策边界来增强可塑性。
• 开发一种用于经验回放的数据评分机制，以平衡稳定性与可塑性。

提出的方法

• ASER 使用对抗性 Shapley 值根据样本对潜在决策边界的影响来评分记忆样本。
• 评估每个记忆样本在多大程度上保留了先前学习类别的决策边界。
• 同时测量每个样本在多大程度上干扰了当前类别的决策边界，以促进可塑性。
• 通过在在线学习更新过程中选择并交错高分样本，将这些评分整合到经验回放中。
• 对抗性成分体现在对特征进行扰动，以评估在分布偏移下决策边界的鲁棒性。
• 最终评分通过双目标公式，平衡稳定性（旧边界的保留）与可塑性（当前边界的破坏）。

实验结果

研究问题

• RQ1 对抗性 Shapley 值能否有效评分记忆样本，从而在任务无关持续学习中提升稳定性？
• RQ2 ASER 在保持先前学习任务性能方面，与现有经验回放方法相比表现如何？
• RQ3 在保留旧边界与干扰当前边界这一双目标机制下，可塑性提升的程度如何？
• RQ4 ASER 是否能在无任务边界的情况下泛化到多样化的持续学习基准？
• RQ5 对抗性扰动在提升评分机制鲁棒性方面起到了多大作用？

主要发现

• ASER 在多个持续学习基准上实现了与最先进经验回放方法相当或更优的性能。
• 该方法有效保留了先前学习类别的决策边界，显著减少了灾难性遗忘。
• 通过干扰当前类别边界，ASER 在在线更新过程中提升了学习效率与可塑性。
• 使用对抗性 Shapley 值使记忆中的样本选择更加鲁棒且信息量更丰富。
• 双评分机制——在稳定性与可塑性之间取得平衡——在无任务边界条件下被证明是有效的。
• ASER 展现出强大的泛化能力，可在无需任务元数据的情况下适用于多样化数据集。