[논문 리뷰] Rainbow Memory: Continual Learning with a Memory of Diverse Samples

Jihwan Bang, Heesu Kim외 3명|arXiv (Cornell University)|2021. 03. 31.

Domain Adaptation and Few-Shot Learning참고 문헌 48인용 수 18

한 줄 요약

이 논문은 불확실성 인식 샘플링과 데이터 증강을 통해 에피소딕 메모리의 다양성을 향상시키는 새로운 연속 학습 방법인 레인보우 메모리(Rainbow Memory, RM)를 제안한다. CIFAR10, CIFAR100, ImageNet에서 블러리 클래스-증분 학습(Blurry class-incremental learning, blurry-CIL) 설정—즉, 작업 간에 클래스가 겹치는 현실적인 설정—에서 기존 최고 성능(SOTA) 방법들을 크게 능가하며, 기준 모델 대비 최대 10.5%의 성능 향상을 기록한다.

ABSTRACT

Continual learning is a realistic learning scenario for AI models. Prevalent scenario of continual learning, however, assumes disjoint sets of classes as tasks and is less realistic rather artificial. Instead, we focus on 'blurry' task boundary; where tasks shares classes and is more realistic and practical. To address such task, we argue the importance of diversity of samples in an episodic memory. To enhance the sample diversity in the memory, we propose a novel memory management strategy based on per-sample classification uncertainty and data augmentation, named Rainbow Memory (RM). With extensive empirical validations on MNIST, CIFAR10, CIFAR100, and ImageNet datasets, we show that the proposed method significantly improves the accuracy in blurry continual learning setups, outperforming state of the arts by large margins despite its simplicity. Code and data splits will be available in https://github.com/clovaai/rainbow-memory.

연구 동기 및 목표

• 작업 간에 클래스가 겹치는 현실적이지만 미흡하게 다뤄진 블러리 클래스-증분 학습(blurry-CIL) 설정을 다루며, 이는 인위적인 분리된 클래스-증분 학습(disjoint-CIL) 설정과 대비된다.
• 제한된 메모리 용량 속에서 치명적인 잊음(catastrophic forgetting)을 완화하기 위해 저장된 예시의 표현력과 다양성을 향상시킴으로써 연속 학습에서의 성능을 향상시킨다.
• 개별 샘플의 분류 불확실성에 기반한 메모리 관리 전략을 개발하여, 강건한 데이터와 취약한 데이터를 균형 있게 선택함으로써 다양성을 확보한다.
• 특히 CutMix 및 AutoAug와 같은 레이블 혼합 기법을 포함한 데이터 증강의 영향을 분석하여, 메모리의 다양성과 모델의 일반화 능력을 향상시키는 데 기여하는지 탐구한다.
• 제안된 방법이 블러리-CIL를 넘어서도 일반화 성능이 뛰어나, 분리된 클래스-증분 학습(disjoint-CIL) 및 오프라인 학습 설정에서도 경쟁 가능한 성능을 달성함을 보여준다.

제안 방법

• 각 샘플의 강건성 평가를 위해 편미분 유도 불확실성 측정법을 제안한다: 데이터 증강을 통해 샘플을 편미분하고, 편미분된 예측에 대해 몬테카를로 드롭아웃을 적용하여 불확실성 추정을 수행한다.
• 불확실성의 역수(즉, 강건성)를 베이지안 프레임워크 내에서 우도 함수로 사용하여 메모리 샘플링을 이끌며, 강건한 샘플과 취약한 샘플 모두를 선호함으로써 다양성을 확보한다.
• 기존 예시를 새로운 불확실성 순으로 정렬된 샘플로 교체하는 메모리 업데이트 전략을 구현하여, 과거 클래스의 대표성을 유지한다.
• CutMix, AutoAug, 그리고 표준 증강 기법(예: 색상 왜곡, 플립 등)을 포함한 다양한 데이터 증강 기법을 사용하여 에피소딕 메모리에 저장된 샘플을 증강한다.
• 불확실성 기반 샘플링과 데이터 증강을 결합하여, 메모리 다양성과 모델 일반화 능력을 향상시키는 이중 메커니즘을 구현한다.
• 고정된 메모리 용량 제약 조건을 유지하여, 실제 연속 학습 환경에서의 확장성과 실용성을 확보한다.

실험 결과

연구 질문

• RQ1 무작위 또는 프로토타입 기반 메모리 선택 대비, 불확실성 기반 샘플링이 블러리-CIL에서 메모리 다양성과 모델 성능에 어떤 영향을 미치는가?
• RQ2 특히 CutMix와 같은 레이블 혼합 기법을 포함한 데이터 증강이, 에피소딕 메모리 내 예시의 표현력과 구분 능력을 어느 정도 향상시키는가?
• RQ3 블러리-CIL에 특화된 메모리 관리 전략이 분리된 클래스-증분 학습(disjoint-CIL) 및 오프라인 학습 설정으로 일반화되어 효과적으로 작동하는가?
• RQ4 다양한 불확실성 추정 방법(예: No_MC, RandAug_MC, AutoAug_MC)이 메모리 업데이트 메커니즘 성능에 어떤 영향을 미치는가?
• RQ5 불확실성 기반 샘플링과 데이터 증강 중 어느 것이 연속 학습 정확도 향상에 더 큰 기여를 하는가?

주요 결과

• CIFAR10-Blurry10-Online에서 K=1000일 때 레인보우 메모리는 76.1%의 정확도를 기록하며, 이는 다음으로 높은 기준 모델 대비 4.6%포인트 높은 성능이다.
• CIFAR100-Blurry10-Online에서 RM은 69.6%의 정확도를 달성하여, 동일한 설정에서 이전 SOTA 방법 대비 10.5% 향상된 성능을 보였다.
• 분리된 클래스-증분 학습(disjoint-CIL) 환경에서도 뛰어난 성능을 유지하며, CIFAR10-Disjoint10에서 71.1%의 정확도를 기록하여 전용 SOTA 방법과 유사한 성능을 달성했다.
• 데이터 증강, 특히 CutMix + AutoAug 조합은 증강 없을 경우 대비 최대 12.5%까지 성능 향상을 이끌었으며, 특히 복잡도가 높은 설정에서 가장 큰 성과를 보였다.
• RandAug 기반 몬테카를로 추정을 사용한 불확실성 기반 샘플링이 가장 우수한 결과를 보였으며, CIFAR10-Blurry10-Online에서 비-몬테카를로 방법 대비 정확도를 2.7% 향상시켰다.
• 제거 실험(ablation study) 결과, 불확실성 기반 샘플링과 데이터 증강 둘 다 필수적임을 확인하였으며, 둘 중 하나를 제거할 경우 평균적으로 10% 이상 성능 저하가 발생했다.