[论文解读] Class-Incremental Exemplar Compression for Class-Incremental Learning

Zilin Luo, Yaoyao Liu+2 more|arXiv (Cornell University)|Mar 24, 2023

Domain Adaptation and Few-Shot Learning被引用 5

一句话总结

该论文提出了一种新颖的类增量掩码（Class-Incremental Masking, CIM）方法，用于类增量学习中的样本压缩，通过使用类别激活图（CAMs）自适应地降低样本中非判别性（如背景）像素的分辨率，实现在固定内存预算下生成‘多张样本’的压缩效果。通过采用双层优化方法对可学习掩码生成器进行优化，CIM在不增加内存使用或人工标注的前提下，在10阶段ImageNet-1000数据集上相比FOSTER方法准确率提升了4.8个百分点，达到当前最优性能。

ABSTRACT

Exemplar-based class-incremental learning (CIL) finetunes the model with all samples of new classes but few-shot exemplars of old classes in each incremental phase, where the "few-shot" abides by the limited memory budget. In this paper, we break this "few-shot" limit based on a simple yet surprisingly effective idea: compressing exemplars by downsampling non-discriminative pixels and saving "many-shot" compressed exemplars in the memory. Without needing any manual annotation, we achieve this compression by generating 0-1 masks on discriminative pixels from class activation maps (CAM). We propose an adaptive mask generation model called class-incremental masking (CIM) to explicitly resolve two difficulties of using CAM: 1) transforming the heatmaps of CAM to 0-1 masks with an arbitrary threshold leads to a trade-off between the coverage on discriminative pixels and the quantity of exemplars, as the total memory is fixed; and 2) optimal thresholds vary for different object classes, which is particularly obvious in the dynamic environment of CIL. We optimize the CIM model alternatively with the conventional CIL model through a bilevel optimization problem. We conduct extensive experiments on high-resolution CIL benchmarks including Food-101, ImageNet-100, and ImageNet-1000, and show that using the compressed exemplars by CIM can achieve a new state-of-the-art CIL accuracy, e.g., 4.8 percentage points higher than FOSTER on 10-Phase ImageNet-1000. Our code is available at https://github.com/xfflzl/CIM-CIL.

研究动机与目标

• 为解决类增量学习（CIL）中因内存受限导致旧类别知识保留能力不足的‘少样本’样本限制问题。
• 缓解新旧类别数据分布不均的问题，该问题在训练过程中因新类别样本占主导而引发灾难性遗忘。
• 开发一种内存高效、自适应的压缩方法，在保留判别性特征的同时增加样本数量。
• 通过模型注意力机制（CAMs）自动生成判别性像素掩码，消除对人工标注的依赖。
• 在动态CIL设置中优化掩码生成，以适应不同类别和阶段间最优压缩策略的差异。

提出的方法

• 该方法利用类别激活图（CAMs）识别样本图像中的判别性像素，通过硬阈值化生成初始的0-1掩码。
• 引入一种可学习的掩码生成模型，称为类增量掩码（CIM），以自适应地生成与阶段和类别相关的掩码，克服标准CAMs中固定阈值的局限性。
• CIM通过全局双层优化问题（BOP）进行优化，其中CIM模型通过反向传播在未压缩新数据上验证损失的方式进行调优。
• 通过仅对掩码中为0的非判别性像素进行下采样，生成压缩后的样本，同时保留判别性区域的分辨率。
• 该方法为即插即用设计，可与LUCIR和FOSTER等现有CIL框架兼容，无需修改网络架构即可集成。
• 掩码生成过程具有可微性，并与CIL模型通过交替训练进行联合优化，确保样本质量与模型性能的一致性。

实验结果

研究问题

• RQ1 在严格内存约束下，通过保留判别性特征并增加样本数量的样本压缩方法，是否能提升CIL性能？
• RQ2 如何实现跨不同类别和增量阶段的自适应掩码生成，以避免基于CAM的压缩中次优阈值化的问题？
• RQ3 通过双层学习端到端优化掩码生成器，是否能带来比固定阈值或启发式阈值化更优的样本代表性？
• RQ4 与均匀压缩（如JPEG）或固定样本蒸馏相比，自适应的非均匀压缩在准确率和内存效率方面表现如何？
• RQ5 由于小物体具有更高的背景-物体比，该压缩策略在多大程度上能使其受益？

主要发现

• CIM在10阶段ImageNet-1000上实现了68.03%的新SOTA准确率，相比FOSTER提升了4.8个百分点。
• 在ImageNet-100的10阶段设置中，该方法达到74.05%的准确率，相比基线LUCIR高出2.83个百分点。
• 该方法使小物体的准确率提升了3.87个百分点，因其更高的背景比例而最受益于背景像素的下采样。
• 在小物体类别中，每类平均节省的样本数量达到39.40个，显著超过基线的20个样本，且未增加内存预算。
• 消融实验证明，使用CIM生成的自适应掩码优于朴素CAMs、随机区域和中心裁剪基线，验证了注意力引导压缩的有效性。
• 在判别性区域添加弱下采样（η′=2.0）可达到与完整方法相当的性能，但计算成本更高，表明完整压缩策略更具效率。