[논문 리뷰] A Comprehensive Study of Class Incremental Learning Algorithms for Visual Tasks

Eden Belouadah, Adrian Popescu외 1명|arXiv (Cornell University)|2020. 11. 03.

Domain Adaptation and Few-Shot Learning참고 문헌 102인용 수 199

한 줄 요약

본 논문은 고정 크기/클래스 점증 학습 방법을 분석하고, 통합 프레임워크를 제안하며, 설정에 따라 단일 알고리즘이 우위를 점하지 않는다는 것을 보이고, 기억 용량과 점증 상태 크기가 성능에 큰 영향을 미친다.

ABSTRACT

The ability of artificial agents to increment their capabilities when confronted with new data is an open challenge in artificial intelligence. The main challenge faced in such cases is catastrophic forgetting, i.e., the tendency of neural networks to underfit past data when new ones are ingested. A first group of approaches tackles forgetting by increasing deep model capacity to accommodate new knowledge. A second type of approaches fix the deep model size and introduce a mechanism whose objective is to ensure a good compromise between stability and plasticity of the model. While the first type of algorithms were compared thoroughly, this is not the case for methods which exploit a fixed size model. Here, we focus on the latter, place them in a common conceptual and experimental framework and propose the following contributions: (1) define six desirable properties of incremental learning algorithms and analyze them according to these properties, (2) introduce a unified formalization of the class-incremental learning problem, (3) propose a common evaluation framework which is more thorough than existing ones in terms of number of datasets, size of datasets, size of bounded memory and number of incremental states, (4) investigate the usefulness of herding for past exemplars selection, (5) provide experimental evidence that it is possible to obtain competitive performance without the use of knowledge distillation to tackle catastrophic forgetting and (6) facilitate reproducibility by integrating all tested methods in a common open-source repository. The main experimental finding is that none of the existing algorithms achieves the best results in all evaluated settings. Important differences arise notably if a bounded memory of past classes is allowed or not.

연구 동기 및 목표

• 증분 학습 알고리즘의 여섯 가지 바람직한 특성을 정의하고 이를 분석한다.
• 클래스 증분 학습의 통일된 형식화를 제공한다.
• 다양한 메모리 및 상태 설정을 가진 포괄적 다중 데이터셋 평가 프레임워크를 구축한다.
• herding 기반 표본 선택의 유용성을 조사한다.
• 지식 증류 없이도 경쟁력 있는 성능을 보이고 오픈 소스 저장소를 통해 재현성을 가능하게 한다.

제안 방법

• IL 방법을 평가하기 위해 여섯 가지 특성(복잡도, 기억력, 정확도, 시의성, 가소성, 확장성)을 도입한다.
• 초기 상태와 T-1 점증 상태를 갖는 클래스 증분 학습 문제를 형식화한다.
• 다수의 데이터셋, IL 상태 구성 및 메모리 크기를 포함한 공통 평가 프레임워크를 개발한다.
• 방법들에 걸친 영향을 평가하기 위해 헐딩 기반 대표 샘플 선택으로 실험한다.
• IL을 불균형 학습으로 간주하고 바이어스 보정 기법을 사용하여 증류 없이도 경쟁력 있는 결과가 가능함을 보인다.
• 테스트된 방법들을 균일한 입력/출력으로 공통 오픈 소스 저장소에 통합한다.

실험 결과

연구 질문

• RQ1 고정 크기의 클래스 점증 학습 알고리즘은 다양한 시각 작업 및 데이터셋에서 어떻게 비교되는가?
• RQ2 제한된 메모리 크기가 서로 다른 IL 알고리즘의 상대 성능에 어떤 영향을 미치는가?
• RQ3 메모리 제약 하에서 표본 헐딩이 모든 IL 방법에 걸쳐 유익한가?
• RQ4 지식 증류 없이도 경쟁력 있는 성능이 달성될 수 있는가, 그리고 어떤 조건에서인가?
• RQ5 제안된 여섯 가지 특성이 실제 현장 설정에서 IL에 대한 실용적 사용 사례 권고와 어떻게 연관되는가?

주요 결과

• 모든 평가 설정에서 단일 클래스 IL 알고리즘이 지배하지 않는다.
• 성과 차이는 메모리 크기나 점증 상태 수가 바뀔 때 현저하다.
• 메모리 이용 가능성이 다른 IL 매개변수보다 상대 성능에 더 큰 영향을 미친다.
• 헐딩 기반 표본 선택은 테스트된 모든 방법에 일관되게 이점을 준다.
• 지식 증류 없이도 불균형 학습으로 IL을 모델링하고 바이어스 보정 기법을 적용하면 경쟁력 있는 결과를 얻을 수 있다.
• 저자들은 데이터셋 및 구성 간 재현성을 돕기 위해 오픈 소스 저장소를 제공한다.