[논문 리뷰] Batch-level Experience Replay with Review for Continual Learning

Zheda Mai, Hyunwoo Kim외 2명|arXiv (Cornell University)|2020. 07. 11.

Domain Adaptation and Few-Shot Learning참고 문헌 17인용 수 15

한 줄 요약

이 논문은 CORe50 데이터셋에서 CVPR 2020 CLVision 경쟁의 세 가지 시나리오에서 1위를 차지한 메모리 기반 지속적 학습 방법인 배치 수준 경험 재생과 복기(BER-R)를 제안한다. 이 방법은 경험을 배치 수준으로 검색하고 재생하며, 테스트 전에 최종 복기 단계를 수행함으로써 안정성과 유연성을 향상시킨다. 성능은 최고 수준을 달성했다.

ABSTRACT

Continual learning is a branch of deep learning that seeks to strike a balance between learning stability and plasticity. The CVPR 2020 CLVision Continual Learning for Computer Vision challenge is dedicated to evaluating and advancing the current state-of-the-art continual learning methods using the CORe50 dataset with three different continual learning scenarios. This paper presents our approach, called Batch-level Experience Replay with Review, to this challenge. Our team achieved the 1'st place in all three scenarios out of 79 participated teams. The codebase of our implementation is publicly available at https://github.com/RaptorMai/CVPR20_CLVision_challenge

연구 동기 및 목표

• 지속적 학습에서 치명적인 기억 상실 문제를 해결하기 위해 경험 재생의 효율성과 지식 유지 능력을 향상시키기 위해.
• 기존 경험 재생의 계산 오버헤드를 줄이기 위해 메모리 검색 및 업데이트 작업을 배치 단위로 묶기 위해.
• 평가 전에 이전 작업에서의 지식을 강화하는 최종 복기 단계를 통해 모델 성능을 향상시키기 위해.
• 통합적이고 확장 가능한 방법을 통해 다양한 지속적 학습 시나리오에서 높은 정확도와 낮은 기억 상실을 달성하기 위해.
• 엄격한 자원 및 정확도 제약 조건 하에서 기존 방법들을 능가하는 성능을 달성하기 위해.

제안 방법

• 새로운 데이터 배치가 도착할 때만 메모리 검색 및 버퍼 업데이트를 수행함으로써, 미니배치 단위로 재생하는 전통적 방법에 비해 검색 및 업데이트 작업의 횟수를 줄였다.
• 과거 데이터의 일부를 저장하는 메모리 버퍼를 사용하며, 이는 학습 중에 재생되어 치명적인 기억 상실을 완화한다.
• 학습 후 최종 복기 단계를 적용하여, 이전에 본 모든 데이터로 모델을 재학습함으로써 지식을 강화하고 일반화 능력을 향상시킨다.
• 모델 일반화 능력을 향상시키기 위해 공간적 및 픽셀 수준의 변환을 포함한 데이터 증강 기법을 도입한다.
• 과제별 헤드를 갖춘 특징 추출기(DenseNet161)를 사용하며, 다중 과제 환경에서 학습을 안정화하기 위해 동결 전략을 적용한다.
• 이 방법은 뉴 인스턴스(NI), 뉴 인스턴스 및 클래스(NIC), 멀티태스크 뉴 클래스(Multi-Task-NC)의 세 가지 지속적 학습 시나리오에 동일하게 적용된다.

실험 결과

연구 질문

• RQ1 배치 수준 경험 재생은 메모리 검색 및 업데이트의 계산 비용을 줄이면서도 성능을 유지하거나 향상시킬 수 있는가?
• RQ2 학습 후 최종 복기 단계가 추론 시간을 늘리지 않고도 테스트 정확도를 뚜렷이 향상시킬 수 있는가?
• RQ3 제안된 방법은 지속적 학습에서 다양한 데이터 분포 이동 상황에서 치명적인 기억 상실을 얼마나 효과적으로 완화하는가?
• RQ4 통합된 접근 방식이 다양한 과제 및 클래스 이동 패tern을 가진 여러 지속적 학습 시나리오에서 최고 성능을 달성할 수 있는가?
• RQ5 데이터 증강 및 모델 피팅 전략이 자원 제약 조건 하에서 지속적 학습의 일반화 능력을 얼마나 향상시키는가?

주요 결과

• 뉴 인스턴스(NI) 시나리오에서 BER-R_preproc는 최종 검증 정확도 96.7%와 평균 검증 정확도 90.1%를 기록했으며, 기준선의 81.1%와 71.1%에 비해 뚜렷이 높았다.
• 멀티태스크 뉴 클래스(Multi-Task-NC) 시나리오에서 전처리를 적용한 독립 모델(Ind_model_preproc)은 최종 정확도 99.3%와 평균 정확도 55.1%를 기록했으며, 기준선의 12.8%와 14.0%를 뛰어넘었다.
• 뉴 인스턴스 및 클래스(NIC) 시나리오에서 BER-R_preproc는 최종 정확도 96.0%와 평균 정확도 59.4%를 기록했으며, 기준선의 0.02%에 비해 뚜렷이 높았다.
• 최종 복기 단계는 NI 시나리오에서 최종 정확도를 1.1% 향상시켰지만, 평균 정확도에는 영향을 주지 않았다. 이는 복기 단계가 학습 후에만 수행되기 때문이다.
• 데이터 전처리 및 증강이 성능 향상에 크게 기여했으며, 특히 NI 및 NIC 시나리오에서 두드러졌다.
• 이 방법은 CVPR 2020 CLVision 경쟁에서 참가 팀 79개 중 세 시나리오에서 모두 1위를 차지했다.