[论文解读] Continual Learning in the Frequency Domain

Ruiqi Liu, Boyu Diao+4 more|arXiv (Cornell University)|Oct 9, 2024

Seismology and Earthquake Studies被引用 5

一句话总结

CLFD 使用小波基于频域编码和类别感知特征选择来改进基于回放的持续学习，在边缘设备上提升准确性并大幅提升训练效率。

ABSTRACT

Continual learning (CL) is designed to learn new tasks while preserving existing knowledge. Replaying samples from earlier tasks has proven to be an effective method to mitigate the forgetting of previously acquired knowledge. However, the current research on the training efficiency of rehearsal-based methods is insufficient, which limits the practical application of CL systems in resource-limited scenarios. The human visual system (HVS) exhibits varying sensitivities to different frequency components, enabling the efficient elimination of visually redundant information. Inspired by HVS, we propose a novel framework called Continual Learning in the Frequency Domain (CLFD). To our knowledge, this is the first study to utilize frequency domain features to enhance the performance and efficiency of CL training on edge devices. For the input features of the feature extractor, CLFD employs wavelet transform to map the original input image into the frequency domain, thereby effectively reducing the size of input feature maps. Regarding the output features of the feature extractor, CLFD selectively utilizes output features for distinct classes for classification, thereby balancing the reusability and interference of output features based on the frequency domain similarity of the classes across various tasks. Optimizing only the input and output features of the feature extractor allows for seamless integration of CLFD with various rehearsal-based methods. Extensive experiments conducted in both cloud and edge environments demonstrate that CLFD consistently improves the performance of state-of-the-art (SOTA) methods in both precision and training efficiency. Specifically, CLFD can increase the accuracy of the SOTA CL method by up to 6.83% and reduce the training time by 2.6$ imes$.

研究动机与目标

• 在资源受限环境中激励持续学习（CL），并在忘记问题之外同时关注训练效率。
• 提出一个频域框架，用于压缩输入并在任务之间管理特征复用。
• 通过仅优化输入/输出特征，使其能够与现有的基于回放的CL方法无缝集成。
• 促进数据增强并降低内存占用，以存储并回放更多样本。

提出的方法

• 在频域特征编码器（FFE）中使用离散小波变换（DWT）将输入图像转换为频域。
• 压缩输入特征图以降低 FLOPs 和内存，从而在固定缓冲区中实现更多的回放样本。
• 应用类别感知频域特征选择（CFFS），通过频域相似性在类别之间平衡特征复用和干扰。
• 使用低频分量计算按类别的频域特征相似性，并为分类选择/顶层掩码特征。
• 使用频率丢弃和语义丢弃来在任务之间自适应特征选择，而不引入跨任务可学习参数。
• 通过仅修改输入和输出特征处理，将 CLFD 与现有的基于回放的 CL 方法集成，保留核心回放机制不变。

实验结果

研究问题

• RQ1 如何通过频域表示来降低输入大小并为持续学习保留信息？
• RQ2 类别感知的频域特征选择能否减少跨任务的干扰和遗忘？
• RQ3 在边缘设备上将 CLFD 与标准的基于回放的 CL 方法结合时，效率提升（时间、内存、FLOPs）是多少？
• RQ4 相对于标准基准上的最先进基于回放的CL方法，CLFD 是否保持或提升准确性？

主要发现

• CLFD 可将最先进的基于回放的 CL 方法的精度提高多达 6.83%。
• 在边缘设备上，CLFD 在基准测试中实现高达 2.6x 的训练速度提升和高达 3.0x 的峰值内存减少。
• 使用 DWT 保留了空间和频率信息，使有效的数据增强和输入压缩成为可能。
• 类别感知的频域特征选择减少跨任务干扰，并为语义上相似的类别对齐特征。
• 将 CLFD 与多种基线方法（ER、DER++、ER-ACE、CLS-ER）结合，在各数据集上实现一致的精度提升和内存减少。