[논문 리뷰] Overcoming catastrophic forgetting problem by weight consolidation and long-term memory

Shixian Wen, Laurent Itti|arXiv (Cornell University)|2018. 05. 18.

Domain Adaptation and Few-Shot Learning참고 문헌 12인용 수 13

한 줄 요약

이 논문은 지속적 학습에서 치명적인 잊음 문제를 완화하기 위해 적대적 메모리 유닛과 탄성 가중치 통합(EWC)을 결합한 새로운 접근법을 제안한다. 이전 작업의 추상적 고수준 특징을 나타내는 적대적 부분공간의 교차를 메모리 유닛에 저장함으로써, 모델은 새로운 작업을 학습하면서도 이전 지식을 유지할 수 있으며, MNIST 숫자를 순차적으로 학습한 후 과제 1에서 94.53%의 정확도를 달성하여 EWC와 순수 경사 하강법보다 뚜렷이 뛰어나다.

ABSTRACT

Sequential learning of multiple tasks in artificial neural networks using gradient descent leads to catastrophic forgetting, whereby previously learned knowledge is erased during learning of new, disjoint knowledge. Here, we propose a new approach to sequential learning which leverages the recent discovery of adversarial examples. We use adversarial subspaces from previous tasks to enable learning of new tasks with less interference. We apply our method to sequentially learning to classify digits 0, 1, 2 (task 1), 4, 5, 6, (task 2), and 7, 8, 9 (task 3) in MNIST (disjoint MNIST task). We compare and combine our Adversarial Direction (AD) method with the recently proposed Elastic Weight Consolidation (EWC) method for sequential learning. We train each task for 20 epochs, which yields good initial performance (99.24% correct task 1 performance). After training task 2, and then task 3, both plain gradient descent (PGD) and EWC largely forget task 1 (task 1 accuracy 32.95% for PGD and 41.02% for EWC), while our combined approach (AD+EWC) still achieves 94.53% correct on task 1. We obtain similar results with a much more difficult disjoint CIFAR10 task, which to our knowledge had not been attempted before (70.10% initial task 1 performance, 67.73% after learning tasks 2 and 3 for AD+EWC, while PGD and EWC both fall to chance level). Our results suggest that AD+EWC can provide better sequential learning performance than either PGD or EWC.

연구 동기 및 목표

• 깊이 신경망을 사용한 이산 과제의 순차적 학습에서 치명적인 잊음을 해결하기 위해.
• 이전 작업 최적점 주변 국소 영역에만 제한되는 EWC의 한계를 극복하기 위해.
• 적대적 부분공간을 이전 작업 지식의 고수준 추상적 표현으로 활용하여 장기 메모리 저장을 가능하게 하기 위해.
• 이전 데이터 재생 또는 네트워크 파라미터 동결 없이도 효과적인 지속적 학습을 가능하게 하기 위해.
• MNIST 및 CIFAR10 이산 과제 벤치마크에서 확장성과 강건성을 입증하기 위해.

제안 방법

• 모든 클래스의 과제에 대해 적대적 부분공간의 교차를 나타내는 고유한 메모리 유닛을 각 뉴런에 도입하여 저장한다.
• 빠른 경사 부호 방법을 사용해 적대적 방향을 계산하고, 이를 메모리 유닛에 통합함으로써 이전 과제 지식의 압축된 고수준 표현으로 활용한다.
• 메모리 유닛 활성화와 표준 네트워크 가중치, EWC 정규화를 조합하여 새로운 매개변수 공간(\beta 및 \gamma)을 구성함으로써 더 나은 공동 최적화를 지원한다.
• 이전 과제에 대한 매개변수 중요도를 기반으로 EWC를 적용함으로써 매개변수를 정규화하고, 동시에 적대적 메모리를 사용해 이전 과제 학습의 안정성을 높인다.
• 과제별 경사 하강 흐름을 허용하고 이산 과제 간 간섭을 줄이기 위해 시그모이드 교차 엔트로피 손실을 사용한다.
• 각 과제를 20 에포크 동안 훈련하고, 이전 모든 과제에서 성능을 평가하여 잊음 정도를 측정한다.

실험 결과

연구 질문

• RQ1 적대적 부분공간은 치명적인 잊음을 방지하기 위해 안정적이고 고수준의 이전 과제 지식 표현으로 사용될 수 있는가?
• RQ2 적대적 메모리와 EWC를 조합하면 EWC나 순수 SGD보다 지속적 학습 성능을 향상시킬 수 있는가?
• RQ3 이 방법은 데이터 재생 없이도 CIFAR10과 같은 어려운 이산 과제 벤치마크에 일반화될 수 있는가?
• RQ4 시그모이드 교차 엔트로피 손실 사용이 이산 과제 설정에서 성능에 어떤 영향을 미치는가?
• RQ5 메모리 유닛을 통해 파라미터 동결이나 데이터 재생 없이도 이전 과제 지식을 효과적으로 복원할 수 있는가?

주요 결과

• 이산 MNIST에서 과제 2(4–6)와 과제 3(7–9)를 학습한 후, AD+EWC 방법은 과제 1(숫자 0–2)에서 94.53%의 정확도를 달성하여 PGD(32.95%)와 EWC(41.02%)보다 뚜렷이 뛰어나다.
• 더 어려운 이산 CIFAR10 과제에서 AD+EWC는 순차적 훈련 후 과제 1에서 67.73%의 정확도를 유지했고, PGD와 EWC는 모두 우연 수준으로 떨어졌다.
• AD만으로는 동결된 가중치 덕분에 과제 1에서 100%의 정확도를 달성했지만, 후속 과제에서 실패했으며, 이는 메모리만으로는 충분하지 않고 적응형 학습이 필요함을 보여준다.
• 공유 출력 및 개별 출력 설정 모두에서 효과적으로 작동했으며, EWC와 PGD와 달리 개별 출력 설정에서 레이블 혼동으로 인해 실패하지 않았다.
• 시그모이드 교차 엔트로피 손실을 사용함으로써 과제별 경사 하강 흐름이 가능해져 성능이 향상되었지만, 컨볼루션 구조 없이선 수렴 속도가 느렸다.
• 적대적 부분공간의 교차는 확장 가능하고 추상적인 장기 메모리 표현을 형성하며, 데이터 재생 없이도 효과적인 지속적 학습을 가능하게 한다.