[论文解读] Imbalanced Continual Learning with Partitioning Reservoir Sampling

Chris Dongjoo Kim, Jinseo Jeong+1 more|arXiv (Cornell University)|Sep 8, 2020

Domain Adaptation and Few-Shot Learning参考文献 88被引用 9

一句话总结

本文提出了一种新型基于重放的持续多标签学习方法——分区蓄水池采样（PRS），适用于长尾数据分布下的多标签分类任务。通过按类别频率分配内存并按频率对重放缓冲区进行分区，PRS显著减少了对少数类（尾部类）的遗忘，在新构建的基准测试 COCOseq 和 NUS-WIDEseq 上实现了最先进性能，与先前方法相比，遗忘率降低了 10.2%。

ABSTRACT

Continual learning from a sequential stream of data is a crucial challenge for machine learning research. Most studies have been conducted on this topic under the single-label classification setting along with an assumption of balanced label distribution. This work expands this research horizon towards multi-label classification. In doing so, we identify unanticipated adversity innately existent in many multi-label datasets, the long-tailed distribution. We jointly address the two independently solved problems, Catastropic Forgetting and the long-tailed label distribution by first empirically showing a new challenge of destructive forgetting of the minority concepts on the tail. Then, we curate two benchmark datasets, COCOseq and NUS-WIDEseq, that allow the study of both intra- and inter-task imbalances. Lastly, we propose a new sampling strategy for replay-based approach named Partitioning Reservoir Sampling (PRS), which allows the model to maintain a balanced knowledge of both head and tail classes. We publicly release the dataset and the code in our project page.

研究动机与目标

• 为解决在长尾数据分布下持续多标签学习过程中少数类（尾部类）出现的破坏性遗忘这一关键挑战。
• 将现有多标签数据集扩展为顺序性、任务有序的基准测试（COCOseq 和 NUS-WIDEseq），以系统研究类内与类间不平衡问题。
• 开发一种基于重放的持续学习方法，通过根据类别频率策略性地分配内存，实现对头部类与尾部类知识的均衡保持。
• 同时解决持续学习中灾难性遗忘与长尾分布问题，适用于多标签分类任务。

提出的方法

• 提出分区蓄水池采样（PRS），一种内存分配策略，将重放缓冲区按类别频率划分为头部、中等和尾部三类分区，以确保各类别群体的代表性比例。
• 根据类别频率为每个分区分配内存容量，给予中等类和少数类（尾部类）更多存储空间，以抵消标准蓄水池采样中这些类别的代表性不足。
• 在每个分区内使用改进的蓄水池采样算法，为每种类别群体维护一个平衡且具代表性的历史经验样本集。
• 采用共享输出头并进行与任务无关的训练，使模型在推理过程中无需显式任务标签即可实现持续学习。
• 将 PRS 集成到标准的基于重放的持续学习框架中，结合经验重放与动态内存分配机制。
• 采用基于调度的训练协议，以不同顺序处理任务，评估方法对任务排序的鲁棒性。

实验结果

研究问题

• RQ1 长尾类别分布在多标签持续学习中如何加剧灾难性遗忘？
• RQ2 现有基于重放和正则化的持续学习方法在多大程度上无法有效保持对少数类（尾部类）的性能？
• RQ3 一种优先考虑少数类和中等类别的内存分配策略，能否提升多标签持续学习中的长期性能并减少遗忘？
• RQ4 所提出的 PRS 方法与现有基于重放和正则化的基线方法在新构建的顺序多标签基准测试上相比表现如何？
• RQ5 PRS 的性能增益是否在不同任务排序调度和数据集配置下均保持一致？

主要发现

• 在 NUS-WIDEseq 基准测试上，PRS 相较于 EWC（遗忘率 32.8%）和 ExStream（遗忘率 55.3%）将整体遗忘率降低了 10.2%，表现出更优的稳定性。
• 在 COCOseq 上，PRS 实现了 53.2% 的 C-F1 分数，遗忘率仅为 25.6%，优于 EWC（C-F1 38.9%，遗忘率 32.8%）和 ExStream（C-F1 49.7%，遗忘率 34.5%）。
• 与标准蓄水池采样相比，PRS 在尾部类别上的遗忘率降低了 30%以上，在 COCOseq 中最不常见的类别 F1 分数达到 33.5%，而 CRS 为 9.6%，GSS 为 11.2%。
• 该方法在所有任务上均保持高性能，COCOseq 中首个任务的 C-F1 为 61.9%，最后一个任务为 53.2%，表明对历史知识具有极强的保留能力。
• PRS 在多种任务排序下均表现出一致的性能增益，在最苛刻的调度方案（3,1,0,2）下，NUS-WIDEseq 上仍实现 53.2% 的 C-F1 和 25.6% 的遗忘率。
• 所提出的基准测试 COCOseq 和 NUS-WIDEseq 揭示，标准持续学习方法在少数类别上存在严重性能下降，验证了如 PRS 这类新方法的必要性。