[논문 리뷰] Class-Incremental Learning: A Survey

Da-Wei Zhou, Qiwei Wang외 4명|arXiv (Cornell University)|2023. 02. 07.

Domain Adaptation and Few-Shot Learning참고 문헌 237인용 수 64

한 줄 요약

본 논문은 깊은 클래스-증분 학습(CIL) 방법들을 데이터- 중심, 모델- 중심, 알고리즘- 중심으로 정리하고, 통합 평가를 적용하며 메모리 예산에 공정한 비교에 초점을 둡니다.

ABSTRACT

Deep models, e.g., CNNs and Vision Transformers, have achieved impressive achievements in many vision tasks in the closed world. However, novel classes emerge from time to time in our ever-changing world, requiring a learning system to acquire new knowledge continually. Class-Incremental Learning (CIL) enables the learner to incorporate the knowledge of new classes incrementally and build a universal classifier among all seen classes. Correspondingly, when directly training the model with new class instances, a fatal problem occurs -- the model tends to catastrophically forget the characteristics of former ones, and its performance drastically degrades. There have been numerous efforts to tackle catastrophic forgetting in the machine learning community. In this paper, we survey comprehensively recent advances in class-incremental learning and summarize these methods from several aspects. We also provide a rigorous and unified evaluation of 17 methods in benchmark image classification tasks to find out the characteristics of different algorithms empirically. Furthermore, we notice that the current comparison protocol ignores the influence of memory budget in model storage, which may result in unfair comparison and biased results. Hence, we advocate fair comparison by aligning the memory budget in evaluation, as well as several memory-agnostic performance measures. The source code is available at https://github.com/zhoudw-zdw/CIL_Survey/

연구 동기 및 목표

• 클래스-증분 학습(CIL)을 정의하고 문제 설정과 목표를 형식화한다.
• 데이터-중심, 모델-중심, 알고리즘-중심 범주에 걸쳐 기존의 딥 CIL 방법들을 조사한다.
• 여러 벤치마크에 걸친 메모리 예산을 강조하는 통합되고 공정한 평가 프레임워크를 제공한다.
• 샘플 관리(메모리 버퍼)를 분석하고 프라이버시 함의를 논의한다.
• 향후 CIL 연구와 실제 배포를 안내할 통찰을 제시한다.

제안 방법

• 데이터-중심, 모델-중심, 알고리즘-중심(하위 범주 포함)으로 CIL 방법을 분류한다.
• 연대순으로 방법들을 기록하여 연구 초점의 변화를 보여준다(Figure 3).
• 벤치마크 데이터셋(CIFAR100 및 ImageNet100/1000)에서 16개 방법의 통합 실증 평가를 수행하고 메모리 예산 효과를 논의한다.
• 메모리 예산에 맞춘 평가와 예산 비의존적 성능 척도를 강조하고 이를 옹호한다.
• 샘플 관리, 샘플 선정을 위한 헐딩(herding), 직접 재생 vs. 생성 재생과 같은 대안들을 논의한다.
• 참고된 GitHub 저장소에서 평가를 재현하기 위한 공개 코드를 제공한다.

실험 결과

연구 질문

• RQ1 깊은 CIL 방법의 현장을 가장 잘 포착하는 분류 체계는 무엇인가?
• RQ2 데이터-중심, 모델-중심, 알고리즘-중심 접근법은 공정한 메모리 예산 평가 하에서 어떻게 비교되는가?
• RQ3 메모리 예산이 CIL 성능과 실험 비교에 미치는 실용적 시사점은 무엇인가?
• RQ4 샘플 관리 전략이 태스크 간 망각 및 전체 정확도에 어떤 영향을 미치는가?

주요 결과

• 본 조사는 데이터-중심, 모델-중심, 알고리즘-중심 계열로 구성된 심층 CIL 방법에 대한 포괄적이고 분류학적 관점을 제공합니다.
• 전통적인 CNN- 및 ViT 기반 접근법을 포함한 16개 방법의 통합 평가를 CIFAR100 및 ImageNet100/1000에서 제공합니다.
• 메모리 예산은 공정한 방법 비교에서 중요한 요인이며, 이 논문은 일치된 예산과 예산 비의존적 지표를 제시합니다.
• 샘플 관리와 데이터 재현/생성적 재현은 CIL에서 망각 문제를 다루는 핵심이며, 메모리 및 프라이버시 고려와의 균형이 필요합니다.
• 최근 트렌드에는 백본/프롬프트 확장 및 점증적 작업에서 모델 성장을 용이하게 하는 ViT 기반 전략이 포함됩니다.
• 저자들은 평가 재현을 위한 소스 코드를 공개합니다.