[论文解读] Heterogeneous Forgetting Compensation for Class-Incremental Learning

Jiahua Dong, Wenqi Liang+2 more|arXiv (Cornell University)|Aug 7, 2023

Domain Adaptation and Few-Shot LearningComputer Science被引用 3

一句话总结

该论文提出了一种新型的类别增量学习框架——异质遗忘补偿（Heterogeneous Forgetting Compensation, HFC），通过联合优化表示学习与梯度更新，缓解异质遗忘问题。该方法引入了任务-语义聚合模块以学习任务共享的表示，并设计了两种即插即用的损失函数——梯度平衡遗忘补偿损失与关系蒸馏损失，以平衡旧类别间的梯度更新，在ViT-Base模型上于CIFAR-100数据集上实现了79.4%的平均准确率，达到当前最优性能。

ABSTRACT

Class-incremental learning (CIL) has achieved remarkable successes in learning new classes consecutively while overcoming catastrophic forgetting on old categories. However, most existing CIL methods unreasonably assume that all old categories have the same forgetting pace, and neglect negative influence of forgetting heterogeneity among different old classes on forgetting compensation. To surmount the above challenges, we develop a novel Heterogeneous Forgetting Compensation (HFC) model, which can resolve heterogeneous forgetting of easy-to-forget and hard-to-forget old categories from both representation and gradient aspects. Specifically, we design a task-semantic aggregation block to alleviate heterogeneous forgetting from representation aspect. It aggregates local category information within each task to learn task-shared global representations. Moreover, we develop two novel plug-and-play losses: a gradient-balanced forgetting compensation loss and a gradient-balanced relation distillation loss to alleviate forgetting from gradient aspect. They consider gradient-balanced compensation to rectify forgetting heterogeneity of old categories and heterogeneous relation consistency. Experiments on several representative datasets illustrate effectiveness of our HFC model. The code is available at https://github.com/JiahuaDong/HFC.

研究动机与目标

• 为解决现有类别增量学习（CIL）方法中假设旧类别遗忘程度均匀一致的局限性，忽略内在的遗忘异质性。
• 探究不同旧类别（尤其是外观差异较大的类别，如汽车、公共汽车；以及属性差异显著的类别，如道路、交通标志）在遗忘速度上的差异性表现。
• 通过联合优化表示学习与旧类别间梯度更新的平衡，减少遗忘异质性。
• 开发一种即插即用的框架，在不改变网络架构的前提下提升遗忘补偿能力，增强持续学习中的泛化性能。

提出的方法

• 提出任务-语义聚合（TSA）模块，通过聚合每个任务内的局部类别特征，学习全局、任务共享的表示，从而降低表示层面的遗忘异质性。
• 提出梯度平衡遗忘补偿（GFC）损失，根据每个旧类别的遗忘严重程度动态调整梯度更新，确保在异质类别间实现均衡优化。
• 设计梯度平衡关系蒸馏（GRD）损失，以保留旧类别之间的类别间关系，维持增量学习过程中特征关系的一致性。
• 将TSA、GFC与GRD整合为统一的HFC框架，作为即插即用模块，兼容现有CIL主干网络（如ViT-Base与ResNet-32）。
• 采用基于方差的遗忘异质性（FH）度量指标，量化并分析旧类别间遗忘不平衡的程度。
• 采用统一的训练目标，集成知识蒸馏、无回放学习与梯度平衡机制，以最小化遗忘并保持旧类别上的准确率。

实验结果

研究问题

• RQ1 遗忘异质性（即某些旧类别遗忘速度远快于其他类别）如何影响现有类别增量学习模型的性能？
• RQ2 通过任务-语义聚合模块学习任务共享的全局表示，能否有效降低类别增量学习中的遗忘异质性？
• RQ3 梯度平衡补偿损失在多大程度上可缓解具有不同遗忘倾向的旧类别之间不均衡的梯度传播？
• RQ4 表示层面与梯度层面补偿的联合策略，是否能同时提升易遗忘与难遗忘类别的泛化能力并减少遗忘？
• RQ5 在标准基准上，所提出的HFC模型相较于当前最优的CIL方法，在平均准确率与遗忘异质性方面表现如何？

主要发现

• 在使用ViT-Base与5个任务的CIFAR-100数据集上，HFC实现了79.4%的平均准确率，优于先前SOTA方法（FOSTER）0.6个百分点。
• 遗忘异质性（FH）指标从基线的131.5降至HFC的103.6，表明旧类别间遗忘不平衡现象得到显著缓解。
• 消融实验证实，TSA、GFC与GRD三者协同作用，完整HFC模型相比基线使FH降低21.8%。
• 当与ResNet-32结合时，HFC在平均准确率上相较基线提升0.7–0.8个百分点，且在AFC的上界差距上改善12.6%。
• 任务级性能分析显示，HFC在所有增量任务中均持续优于其他方法，尤其在遗忘最严重的后期阶段表现更优。
• 梯度平衡损失有效缓解了对难遗忘类别的过度补偿，同时防止了对易遗忘类别的补偿不足，该效果通过FH指标与准确率曲线得到验证。