[논문 리뷰] Carousel Memory: Rethinking the Design of Episodic Memory for Continual Learning

Soobee Lee, Minindu Weerakoon외 4명|arXiv (Cornell University)|2021. 10. 14.

Domain Adaptation and Few-Shot Learning참고 문헌 49인용 수 15

한 줄 요약

이 논문은 연속 학습에서 치명적인 잊음 문제를 완화하기 위해 빠른 현장 메모리(RAM)와 느린 고용량 스토리지 간에 데이터를 동적으로 교환하는 계층적 에피소딕 메모리 시스템인 Carousel Memory (CarM)을 제안한다. 지능적인 데이터 이동 관리 덕분에 CarM는 훈련 효율성을 희생시키지 않은 채 제한된 RAM과 저대역폭 스토리지 조건에서도 일곱 가지 연속 학습 방법에서 최대 28.4%까지 정확도를 향상시킨다.

ABSTRACT

Continual Learning (CL) is an emerging machine learning paradigm that aims to learn from a continuous stream of tasks without forgetting knowledge learned from the previous tasks. To avoid performance decrease caused by forgetting, prior studies exploit episodic memory (EM), which stores a subset of the past observed samples while learning from new non-i.i.d. data. Despite the promising results, since CL is often assumed to execute on mobile or IoT devices, the EM size is bounded by the small hardware memory capacity and makes it infeasible to meet the accuracy requirements for real-world applications. Specifically, all prior CL methods discard samples overflowed from the EM and can never retrieve them back for subsequent training steps, incurring loss of information that would exacerbate catastrophic forgetting. We explore a novel hierarchical EM management strategy to address the forgetting issue. In particular, in mobile and IoT devices, real-time data can be stored not just in high-speed RAMs but in internal storage devices as well, which offer significantly larger capacity than the RAMs. Based on this insight, we propose to exploit the abundant storage to preserve past experiences and alleviate the forgetting by allowing CL to efficiently migrate samples between memory and storage without being interfered by the slow access speed of the storage. We call it Carousel Memory (CarM). As CarM is complementary to existing CL methods, we conduct extensive evaluations of our method with seven popular CL methods and show that CarM significantly improves the accuracy of the methods across different settings by large margins in final average accuracy (up to 28.4%) while retaining the same training efficiency.

연구 동기 및 목표

• 제한된 현장 메모리 용량을 가진 모바일 및 IoT 기기에서 연속 학습(Continuous Learning, CL)에서 치명적인 잊음 문제를 해결한다.
• 과잉된 샘플이 버려져 영구적인 정보 손실을 초래하는 전통적 에피소딕 메모리(EM)의 한계를 극복한다.
• 풍부한 현장 스토리지 자원을 활용해 과거 경험을 보존하고, 훈련 속도 저하 없이 모델 정확도를 향상시킨다.
• I/O 지연을 숨기기 위해 비동기적 데이터 스위핑을 통해 느린 스토리지 액세스에도 불구하고 높은 훈련 효율성을 유지하는 시스템을 설계한다.
• 실제 하드웨어 제약 조건 하에서 기존의 CL 방법의 효과성을 크게 향상시키는 계층적 메모리 관리 전략이 실제로 유의미한지 입증한다.

제안 방법

• 활성 훈련을 위한 빠른 RAM과 과거 데이터의 장기 보존을 위한 대용량 내부 스토리지 사용을 기반으로 한 계층적 메모리 아키텍처를 도입한다.
• 모델 훈련 계산과 데이터 전송을 겹치면서 I/O 지연을 숨기는 비동기적 데이터 스위핑 메커니즘을 구현한다.
• 시스템 효율성과 모델 정확도를 최적화하기 위해 학습된 모델 기반의 게이팅 정책을 설계하여 RAM과 스토리지 간에 스위핑할 샘플을 결정한다.
• 기억 상실을 줄이기 위한 기여도를 기반으로 샘플 우선순위를 정하는 동적 스위핑 정책을 사용하여 I/O 오버헤드와 정확도 향상 사이의 균형을 이룬다.
• 기존의 CL 방법과 호환되는 플러그인 모듈로 CarM를 통합하여 단일 패assing 및 다중 패assing 훈련 전략 모두에서 작동하도록 한다.
• 에피소딕 메모리 용량을 초과하는 샘플을 스토리지에 유지하는 계층적 메모리 관리 전략을 적용하여 영구적인 데이터 손실을 방지한다.

실험 결과

연구 질문

• RQ1 현장 스토리지 자원을 활용해 과잉된 에피소딕 메모리 샘플을 보존함으로써 연속 학습에서 치명적인 잊음 문제를 유의미하게 감소시킬 수 있는가?
• RQ2 스토리지 액세스 속도가 느린 상황에서도 RAM과 스토리지 간의 데이터 스위핑을 어떻게 설계할 수 있는가? 이는 훈련 효율성을 유지하는가?
• RQ3 제안된 계층적 메모리 관리 전략은 기존의 단순 메모리 기반 에피소딕 메모리 접근 방식에 비해 모델 정확도 향상에 어느 정도 기여하는가?
• RQ4 에피소딕 메모리 크기, 스토리지 용량, 데이터 스위핑 비율의 변화에 따라 CarM의 성능은 어떻게 변화하는가?
• RQ5 스토리지 용량이 제한된 상황에서도 CarM은 대규모 작업 수에 걸쳐 장기적인 연속 학습을 효과적으로 지원할 수 있는가?

주요 결과

• CIFAR-100에서 일곱 가지 다른 알고리즘에 대해 기준 CL 방법 대비 CarM이 최대 28.4%까지 최종 평균 정확도 향상을 기록했다.
• EM 크기가 300인 CarM-50에 DER++를 적용한 결과, EM 크기가 1000인 순수한 DER++보다 더 높은 정확도를 달성했으며, 이는 데이터 스위핑 덕분에 더 작은 EM으로도 더 높은 성능을 낼 수 있음을 시사한다.
• 스위핑 비율이 20%인 저수준에서도 CarM이 높은 정확도를 유지하여, 제한된 I/O 대역폭을 가진 시스템에서도 효과적임을 입증한다.
• 스토리지 용량이 EM 크기의 1.5배 뿐이어도 CarM은 전통적 방법보다 성능이 뛰어나며, 스토리지 제약 조건에 강건함을 보였다.
• CIFAR-100의 50개 작업 분할에서 CarM은 기준 방법들을 크게 능가했으며, 장기적인 연속 학습에 대한 확장성과 유용성을 확인했다.
• 비동기적 스위핑 메커니즘이 성공적으로 I/O 지연을 숨겨, 빈번한 메모리와 스토리지 간 데이터 전송에도 불구하고 훈련 효율성이 유지됨을 입증했다.