[论文解读] Recent Advances of Continual Learning in Computer Vision: An Overview

Haoxuan Qu, Hossein Rahmani+3 more|arXiv (Cornell University)|Sep 23, 2021

Domain Adaptation and Few-Shot Learning参考文献 153被引用 41

一句话总结

本文综述了计算机视觉领域最近的持续学习方法，按技术类别（正则化、蒸馏、记忆、生成回放和参数隔离）进行组织，并概述了超越图像分类的应用。

ABSTRACT

In contrast to batch learning where all training data is available at once, continual learning represents a family of methods that accumulate knowledge and learn continuously with data available in sequential order. Similar to the human learning process with the ability of learning, fusing, and accumulating new knowledge coming at different time steps, continual learning is considered to have high practical significance. Hence, continual learning has been studied in various artificial intelligence tasks. In this paper, we present a comprehensive review of the recent progress of continual learning in computer vision. In particular, the works are grouped by their representative techniques, including regularization, knowledge distillation, memory, generative replay, parameter isolation, and a combination of the above techniques. For each category of these techniques, both its characteristics and applications in computer vision are presented. At the end of this overview, several subareas, where continuous knowledge accumulation is potentially helpful while continual learning has not been well studied, are discussed.

研究动机与目标

• 提供对计算机视觉中持续学习（CL）最近进展的系统性评述。
• 总结CL技术在图像分类之外的CV子领域中的应用（如分割、生成等）。
• 突出CL方法的主要类别及其特征、优点和局限性。
• 确定在CV中可进一步探索的持续知识积累潜在子领域。

提出的方法

• 将CL技术分组并描述为基于正则化、基于知识蒸馏、基于记忆、基于生成回放以及基于参数隔离的方法。
• 在每个类别内概述关键变体（例如：正则化下的EWC、SI、MAS；知识蒸馏下的LwF及蒸馏变体）。
• 讨论CL的评估指标（平均准确率、遗忘、抗拒性、向前/向后迁移）。
• 描述CL在多样化CV任务中的应用：图像分类、语义分割、图像生成、目标检测、字幕生成等。

实验结果

研究问题

• RQ1 计算机视觉中主要的持续学习技术有哪些？它们在解决灾难性遗忘方面有何差异？
• RQ2 持续学习方法在超越图像分类的不同CV任务中的表现如何？
• RQ3 哪些评估指标最能表征CV中CL的性能与遗忘？
• RQ4 计算机视觉的哪些子领域可以从持续知识积累中受益但尚未得到充分研究？
• RQ5 CL技术组合（如正则化与记忆或蒸馏的结合）如何提升性能？

主要发现

• 本文将CL方法分为正则化、知识蒸馏、基于记忆、基于生成回放和基于参数隔离。
• 指出CL已从图像分类扩展至语义分割、图像生成、目标检测等领域。
• 讨论了对基础方法（如EWC、SI、MAS、LwF）的多种变体和改进，并强调梯度/学习率正则化作为替代策略。
• 提供了用于评估CL性能的评估指标，如平均准确率、遗忘、抗拒性，以及前向/后向迁移。
• 该综述指出了一些尚未充分研究但持续学习可能有益的CV子领域。