[논문 리뷰] Storing Encoded Episodes as Concepts for Continual Learning

Ali Ayub, Alan R. Wagner|arXiv (Cornell University)|2020. 06. 26.

Domain Adaptation and Few-Shot Learning참고 문헌 23인용 수 7

한 줄 요약

이 논문은 인코딩된 에피소드를 개념으로 간주하는 EEC(Encodings as Concepts)를 제안한다. 이는 신경 스타일 전송(NST)으로 훈련된 오토인코더를 사용하여 고해상도이고 블러리지 않은 재구성 이미지를 생성함으로써 생성적 리플레이를 위한 지속적 학습 방법이다. 이 방법은 저장된 에피소드를 중심점과 공분산 표현으로 변환하여 78% 감소된 메모리 사용량으로 치명적인 잊음(catastrophic forgetting)을 줄이고, 기준 데이터셋에서 최신 기술(SOTA)보다 13–17% 높은 정확도를 달성한다.

ABSTRACT

The two main challenges faced by continual learning approaches are catastrophic forgetting and memory limitations on the storage of data. To cope with these challenges, we propose a novel, cognitively-inspired approach which trains autoencoders with Neural Style Transfer to encode and store images. Reconstructed images from encoded episodes are replayed when training the classifier model on a new task to avoid catastrophic forgetting. The loss function for the reconstructed images is weighted to reduce its effect during classifier training to cope with image degradation. When the system runs out of memory the encoded episodes are converted into centroids and covariance matrices, which are used to generate pseudo-images during classifier training, keeping classifier performance stable with less memory. Our approach increases classification accuracy by 13-17% over state-of-the-art methods on benchmark datasets, while requiring 78% less storage space.

연구 동기 및 목표

• 실제 데이터 샘플을 저장하지 않고 지속적 학습에서 치명적인 잊음과 메모리 제약 문제를 해결하기 위해.
• 인코딩된 에피소드 저장과 변환을 통해 인간의 기억 통합을 모방하는 생물학적으로 영감을 받은 방법을 개발하기 위해.
• 표준 오토인코더를 넘어서 높은 품질의 이미지 재구성을 향상시켜 효과적인 분류기 리허설을 지원하기 위해.
• 인코딩된 에피소드의 중심점과 공분산 기반 압축을 통해 메모리 사용량을 줄이기 위해.
• 엄격한 클래스 증분 학습 조건 하에서 ImageNet-50과 같은 복잡한 RGB 데이터셋에서 뛰어난 성능을 달성하기 위해.

제안 방법

• 신경 스타일 전송(NST) 손실을 사용해 훈련된 컨volutional 오토인코더를 사용하여 흐릿한 재구성보다 날카운, 클래스 관련 이미지를 생성하기 위해.
• 새로운 작업 훈련 중 생성적 리플레이를 가능하게 하기 위해 메모리에 인코딩된 에피소드(저차원 임베딩)를 저장하기 위해.
• 분류기 훈련 중에 열악한 재구성 이미지의 영향을 줄이기 위해 샘플 쇄도 가중치를 적용하기 위해.
• 유사한 인코딩된 에피소드를 중심점과 공분산 행렬로 변환하여 저장 한도에 도달했을 때 메모리 사용량을 압축하기 위해.
• hippocampal-neocortical 개념 학습을 모방한 클러스터링 기반 메모리 통합 기법을 사용하여 유사한 에피소드를 통합하기 위해.
• 분류기 훈련 중 중심점과 공분산 행렬에서 이미지를 재구성하여 허위 이미지를 생성하고, 최소한의 저장소로 성능를 유지하기 위해.

실험 결과

연구 질문

• RQ1 신경 스타일 전송(NST)이 지속적 학습에서 생성적 리플레이를 위한 오토인코더가 생성하는 이미지 품질을 향상시킬 수 있는가?
• RQ2 실제 데이터나 GAN을 사용하는 것과 비교해 인코딩된 에피소드를 개념으로 사용할 경우, 잊음과 메모리 효율성 측면에서 어떤가?
• RQ3 원본 인코딩된 에피소드를 중심점과 공분산 표현으로 대체할 경우 성능 저하 없이 어느 정도까지 가능할까?
• RQ4 제안된 방법이 ImageNet-50과 같은 복잡하고 고차원적인 데이터셋에서 치명적인 잊음을 줄일 수 있는가?
• RQ5 효율적인 메모리 통합을 통해 극한의 메모리 제약 조건에서도 시스템이 높은 정확도를 유지할 수 있는가?

주요 결과

• EEC는 ImageNet-50에서 A3와 A5에서 각각 DGMw보다 13.29%와 17.42% 높은 정확도를 달성했으며, 실제 데이터를 저장하지 않았음에도 불구하고.
• MNIST에서 EEC는 10개의 작업 전반에서 안정적인 성능을 유지하며 잊음이 최소화된 것으로 나타나, 작업 순서 길이에 대해 강건함을 보였다.
• 메모리 예산 K=5000일 때 EEC는 A5에서 31.51%의 정확도를 기록했으며, 무제한 메모리 기준선 대비 3.73% 뿐 낮은 것으로 나타났다.
• ImageNet-50에서 EEC는 DGMw(228 MB) 대비 총 시스템 메모리 사용량을 78.01% 감소시켰고, 실제 이미지 저장 대비 64.58% 감소시켰다.
• 실제 이미지 에피소드 메모리를 사용하는 최신 기술인 iCaRL보다 A3에서 16.01% 높고 A5에서 6.26% 높은 성능를 보이며, 생성적 리플레이의 효과성을 입증했다.
• DGMw와 달리 EEC는 다양한 데이터셋에서 일관된 성능를 보였으며, MNIST와 ImageNet-50 간 성능 변동이 크게 없었다.