[논문 리뷰] Deep Generative Dual Memory Network for Continual Learning

Nitin Kamra, Umang Gupta외 1명|arXiv (Cornell University)|2017. 10. 28.

Domain Adaptation and Few-Shot Learning참고 문헌 31인용 수 124

한 줄 요약

연속 작업 학습에서 파괴적 망각을 완화하기 위해 깊은 생성 재생을 갖춘 이중 기억 아키텍처를 제안하며, 여러 이미지 분류 벤치마크에서 보존 성능이 향상됨.

ABSTRACT

Despite advances in deep learning, neural networks can only learn multiple tasks when trained on them jointly. When tasks arrive sequentially, they lose performance on previously learnt tasks. This phenomenon called catastrophic forgetting is a fundamental challenge to overcome before neural networks can learn continually from incoming data. In this work, we derive inspiration from human memory to develop an architecture capable of learning continuously from sequentially incoming tasks, while averting catastrophic forgetting. Specifically, our contributions are: (i) a dual memory architecture emulating the complementary learning systems (hippocampus and the neocortex) in the human brain, (ii) memory consolidation via generative replay of past experiences, (iii) demonstrating advantages of generative replay and dual memories via experiments, and (iv) improved performance retention on challenging tasks even for low capacity models. Our architecture displays many characteristics of the mammalian memory and provides insights on the connection between sleep and learning.

연구 동기 및 목표

• 연속 작업 학습에서의 파괴적 망각을 극복하려는 동기.
• 해마와 대뇌피질에서 영감을 받은 이중 기억 아키텍처 도입.
• 과거 지식을 장기 기억으로 통합하기 위한 생성 재생의 활용.
• 이중 기억과 생성 재생이 baselines를 능가함을 보이고, 저용량 모델에서도 성능 우수성을 입증.
• 수면 유사 구동과 지속 학습 간의 연관성 강조.

제안 방법

• Generator G, learner L, 및 dictionary D_dgm이 있는 Deep Generative Memory (DGM) 도입.
• 새로운 데이터와 과거 작업에서 생성된 샘플의 혼합으로 학습하기 위해 Deep Generative Replay (DGR) 사용.
• 단일 메모리 시스템을 구현: 새로운 작업을 위한 다중 STTM 유닛을 가진 Short-Term Memory (STM)와 지식을 통합하는 Long-Term Memory (LTM).
• 수면 중 STM이 샘플을 생성하고 생성 재생을 통해 LTM으로 통합.
• 샘플 재생 중 재구성 및 잡음을 제거하기 위해 생성기로 Variational Autoencoder (VAE) 사용.
• 순차 작업 벤치마크에서 평가하고 NN, Dropout, PPR, EWC 및 DGR와 같은 baselines와 비교.

실험 결과

연구 질문

• RQ1 생성 재생과 결합된 이중 기억 아키텍처가 순차 작업 학습에서 파괴적 망각을 예방할 수 있는가?
• RQ2 제안된 방법이 평균 정확도(ACC)와 역방향 전이(BWT) 면에서 기존 baselines와 어떻게 비교되는가?
• RQ3 메모리 제약 및 작업 수정이 지속 학습 성능에 어떤 영향을 미치는가?
• RQ4 수면 유사 구동(주기적 기억 통합)이 장기 보유 및 학습 효율성에 어떤 영향을 미치는가?

주요 결과

Algorithm	Digits_ACC	Permnist_ACC	Shapes_ACC	Hindi_ACC
NN	0.1	0.588	0.167	0.125
DropNN	0.1	0.590	0.167	0.125
PPR	0.1	0.574	0.167	0.134
EWC	0.1	0.758	0.167	0.125
DGR	0.596	0.861	0.661	0.731
DGDMN	0.818	0.831	0.722	0.658

• DGDMN 및 DGR은 여러 데이터셋에서 평균 정확도에서 일관되게 baselines를 능가한다.
• DGDMN은 Digits, Permnist, Shapes, Hindi의 여러 데이터셋에서 DGR보다 더 높은 ACC를 달성한다.
• DGDMN은 가장 부정적인 역전이(BWT)를 최소화하여 baselines에 비해 망각이 감소했음을 나타낸다.
• 메모리 제약 하에서 DGDMN은 DGR보다 더 강건하고 긴 작업 시퀀스에서 학습 속도가 빠르다.
• 이중 기억 + 생성 재생 접근 방식은 긴 시퀀스에서 점진적인 망각을 보이며 파괴적 망각이 아님을 시연한다.