[论文解读] Masked Autoencoders are Efficient Class Incremental Learners

Jiang-Tian Zhai, Xialei Liu+3 more|arXiv (Cornell University)|Aug 24, 2023

Domain Adaptation and Few-Shot LearningComputer Science被引用 3

一句话总结

本文提出了一种新颖的双边掩码自编码器（MAE）框架，用于高效类增量学习（CIL），通过掩码图像块重建实现更高效的样本存储并提升回放质量。通过融合来自两个互补MAE分支的图像级和嵌入级特征，该方法在CIFAR-100、ImageNet-Subset和ImageNet-Full上实现了最先进性能，同时显著减少了灾难性遗忘并增强了表征稳定性。

ABSTRACT

Class Incremental Learning (CIL) aims to sequentially learn new classes while avoiding catastrophic forgetting of previous knowledge. We propose to use Masked Autoencoders (MAEs) as efficient learners for CIL. MAEs were originally designed to learn useful representations through reconstructive unsupervised learning, and they can be easily integrated with a supervised loss for classification. Moreover, MAEs can reliably reconstruct original input images from randomly selected patches, which we use to store exemplars from past tasks more efficiently for CIL. We also propose a bilateral MAE framework to learn from image-level and embedding-level fusion, which produces better-quality reconstructed images and more stable representations. Our experiments confirm that our approach performs better than the state-of-the-art on CIFAR-100, ImageNet-Subset, and ImageNet-Full. The code is available at https://github.com/scok30/MAE-CIL .

研究动机与目标

• 通过利用掩码自编码器（MAEs）的重建能力，解决类增量学习（CIL）中的灾难性遗忘问题。
• 通过仅存储随机图像块而非完整图像，提升基于回放的CIL中样本的存储效率。
• 通过具有图像级与嵌入级融合的双边MAE架构，提升回放数据质量与表征稳定性。
• 在受限内存预算下，实现在标准CIL基准上的最先进性能。

提出的方法

• 将过去任务图像中的随机图像块存储在回放缓冲区中，实现紧凑的样本存储，内存开销极低。
• 使用掩码自编码器从稀疏的、随机掩码的图像块中重建完整图像，实现有效的自监督表征学习。
• 设计一种具有两个并行分支的双边MAE框架：一个用于主重建任务，另一个用于学习高频细节以提升图像质量。
• 在嵌入级别融合两个分支的特征，生成更具多样性与稳定性的表征，从而提升泛化能力。
• 将监督分类头与MAE集成，联合优化分类准确率与重建保真度。
• 在训练过程中应用掩码输入数据作为正则化手段，提升模型鲁棒性，并减少对存储样本的过拟合。

Figure 1: Our proposed bilateral MAE for efficient CIL. The Replay Buffer contains random patches selected from past task images, which is more efficient than storing whole images. Combining these with masked input data from the current task, the MAE simultaneously learns to classify and reconstruct

实验结果

研究问题

• RQ1 通过基于图像块的重建实现样本存储，掩码自编码器能否被有效重用于高效类增量学习？
• RQ2 与标准MAE相比，具有图像级与嵌入级融合的双边MAE架构在CIL中如何提升重建质量与表征稳定性？
• RQ3 在相同内存约束下，所提方法是否优于现有的最先进回放型CIL方法？
• RQ4 使用图像块级样本在多大程度上减少了内存占用，同时保持或提升性能？
• RQ5 在数据分布变化下，模型的泛化能力如何？通过特征空间密度度量进行评估。

主要发现

• 所提出的双边MAE框架在CIFAR-100上10个任务的平均准确率达到79.12%，在相同内存预算下较之前最先进方法（CIM）高出3.82%。
• 仅以每类80个图像块作为样本存储，该方法在CIFAR-100最后一个任务上达到68.40%的top-1准确率，显著优于DyTox（62.10%）及其他内存高效基线方法。
• 所提方法的特征空间密度度量（π）显著更高，表明在数据分布变化下具有更通用且鲁棒的表征。
• 细节分支显著提升了重建质量，捕获了主分支中缺失的高频纹理，从而生成更真实且多样的回放数据。
• 该方法在所有任务上均保持强劲性能，CIFAR-100上的遗忘率极低（F↓ = 12.17），体现了有效的稳定性-可塑性权衡。
• 消融实验表明，性能提升并非仅源于样本数量增加，而是源于双边融合架构创新与基于图像块的重建机制。

Figure 2: Overall framework of our bilateral MAE for CIL. The masked input is passed through two branches with embedding-level fusion for classification and image-level fusion for reconstruction. Full images can be generated from a small sample of input patches and the reconstructed images can be us