[논문 리뷰] Learning Fast, Learning Slow: A General Continual Learning Method based on Complementary Learning System

Elahe Arani, Fahad Sarfraz외 1명|arXiv (Cornell University)|2022. 01. 29.

Memory Processes and Influences인용 수 37

한 줄 요약

CLS-ER는 뇌의 보완 학습 시스템에서 영감을 받은 이중 기억 체험 재생 방법으로, 작업 경계나 강한 데이터 분포 가정 없이도 최첨단 지속적 학습 성능을 달성합니다.

ABSTRACT

Humans excel at continually learning from an ever-changing environment whereas it remains a challenge for deep neural networks which exhibit catastrophic forgetting. The complementary learning system (CLS) theory suggests that the interplay between rapid instance-based learning and slow structured learning in the brain is crucial for accumulating and retaining knowledge. Here, we propose CLS-ER, a novel dual memory experience replay (ER) method which maintains short-term and long-term semantic memories that interact with the episodic memory. Our method employs an effective replay mechanism whereby new knowledge is acquired while aligning the decision boundaries with the semantic memories. CLS-ER does not utilize the task boundaries or make any assumption about the distribution of the data which makes it versatile and suited for "general continual learning". Our approach achieves state-of-the-art performance on standard benchmarks as well as more realistic general continual learning settings.

연구 동기 및 목표

• 비정상적 데이터 스트림의 악몽적 망각(catastrophic forgetting)을 해결하여 지속적 학습을 촉진한다.
• 이중 의미 기억을 통해 빠른(해마 유사) 및 느린(신피질 유사) 학습을 도입한다.
• 작업 경계나 강한 분포 가정에 의존하지 않는 일반적인 재생 기반 프레임워크를 개발한다.
• 재생 중에 작동하는 모델을 의미 기억과 정렬시켜 작업 간 지식을 통합한다.

제안 방법

• 에피소딕(버퍼 샘플), 장기 의미(안정적인 EMA 가중치), 단기 의미(가소성 EMA 가중치)의 세 가지 기억을 갖춘 CLS-ER를 도입한다.
• 플라스틱 모델과 안정 모델을 서로 다른 속도(rP > rS)로 업데이트하고 감쇠 매개변수(αP, αS)를 사용하여 EMA 기반의 두 의미 기억을 유지한다.
• 저수지 샘플링(reservoir sampling)을 사용하여 고정된 에피소딕 메모리를 관리하고 버퍼가 시간에 따라 데이터 스트림 분포를 반영하도록 한다.
• 학습 중 ground-truth 클래스에 대해 더 높은 가능도를 생성하는 모델의 의미 기억에서 재생 로짓을 선택하고 표준 교차 엔트로피 외에도 일관성 손실을 강제한다.
• 선택된 의미 로짓과의 평균 제곱 오차 일관성 손실과 함께 현재 샘플 및 메모리 샘플의 교차 엔트로피를 최소화하여 작동 모델을 업데이트한다.
• 장기 지식과 일반화를 강조하기 위해 안정 모델을 사용해 추론한다.

실험 결과

연구 질문

• RQ1 작업 경계에 의존하지 않고 빠른 및 느린 의미 기억이 있는 이중 기억 시스템이 지속적 학습에서 지식 통합을 개선할 수 있는가?
• RQ2 작업 간에 작업 모델의 의사결정 경계를 의미 기억과 정렬하면 보유력과 더 매끄러운 적응을 얻을 수 있는가?
• RQ3 EMA 기반 의미 기억(단기 및 장기)이 다양한 CL 설정에서 일반적 점증 학습에 효과적인가?
• RQ4 저수지 기반 에피소딕 기억과 일관성 손실의 조합이 Class-IL, Domain-IL 및 일반 점증 학습 시나리오에서 전통적 재생 기준선을 능가하는가?

주요 결과

• CLS-ER은 Class-IL, Domain-IL, GCIL를 포함한 다수의 지속적 학습 벤치마크 및 설정에서 최첨단 성능을 달성한다.
• EMA 기반 업데이트를 사용하는 이중 의미 기억(단기/가소성과 장기/안정) 은 응집을 개선하고 ER, DER++, GEM과 같은 기준선에 비해 망각을 줄인다.
• CLS-ER은 더 편평한 최소로 수렴하고 보정이 향상됨을 보여 주며, 외란에 대한 강건성과 더 신뢰할 수 있는 불확실성 추정치를 시사한다.
• 메서드는 메모리 예산 변화에 대한 강건성을 보이고 온라인 CL 유사 설정(예: MNIST 기반 GCIL)에서 강력한 성능을 보여 준다.
• 실증 분석은 CLS-ER이 최근 작업 편향을 완화하고 시퀀스 전반에 걸쳐 더 균일한 작업 확률을 산출함을 보여 준다.