[논문 리뷰] Gradient Episodic Memory for Continual Learning

David López-Paz, Marc’Aurelio Ranzato|arXiv (Cornell University)|2017. 06. 26.

Domain Adaptation and Few-Shot Learning참고 문헌 5인용 수 497

한 줄 요약

GEM은 에피소드 기억 기반의 지속 학습 접근법을 도입하여 망각을 줄이고 작업 간 유익한 지식 전달을 가능하게 하며, MNIST 및 CIFAR-100 변형에서 강력한 성능을 보여준다.

ABSTRACT

One major obstacle towards AI is the poor ability of models to solve new problems quicker, and without forgetting previously acquired knowledge. To better understand this issue, we study the problem of continual learning, where the model observes, once and one by one, examples concerning a sequence of tasks. First, we propose a set of metrics to evaluate models learning over a continuum of data. These metrics characterize models not only by their test accuracy, but also in terms of their ability to transfer knowledge across tasks. Second, we propose a model for continual learning, called Gradient Episodic Memory (GEM) that alleviates forgetting, while allowing beneficial transfer of knowledge to previous tasks. Our experiments on variants of the MNIST and CIFAR-100 datasets demonstrate the strong performance of GEM when compared to the state-of-the-art.

연구 동기 및 목표

• 일련의 작업 및 비 iid 데이터 관찰을 가진 지속 학습을 형식화한다.
• 망각(backward transfer) 및 순방향 전도(forward transfer), 그리고 평균 정확도에 대한 지표를 도입한다.
• 망각을 최소화하면서 양의 backward transfer를 허용하기 위해 Gradient Episodic Memory(GEM)을 제안한다.
• MNIST 순열, MNIST 회전, 및 증가하는 CIFAR-100에서 최첨단 베이스라인과 비교하여 GEM을 평가한다.

제안 방법

• 대표 샘플을 저장하기 위한 고정 예산으로 각 작업마다 에피소드 기억을 유지한다.
• 과거 작업 손실에 대한 부등식 제약을 조건으로 현재 손실을 최소화하도록 학습을 형식화한다.
• 제약 조건을 이차 계획으로 변환하고 그 듀얼을 풀어 투사된 그래디언트 업데이트를 얻는다.
• 과거 작업 예측을 증류하지 않고 오직 손실이 증가하지 않도록 제약하는 방식으로만 양의 backward transfer를 허용한다.
• 과거 작업 손실이 증가하지 않도록 투사된 그래디언트를 통해 매개변수를 업데이트하는 알고리즘을 제공한다.

실험 결과

연구 질문

• RQ1 비 iid 데이터 스트림과 작업 전환을 포착하기 위해 지속 학습을 어떻게 형식화할 수 있는가?
• RQ2 에피소드 기억과 그래디언트 투영이 작업 간 전이를 가능하게 하면서 망각을 방지할 수 있는가?
• RQ3 메모리 크기와 작업 순서가 GEM에서의 망각과 전이에 미치는 영향은 무엇인가?
• RQ4 표준 지속 학습 벤치마크에서 GEM이 정규화 및 메모리 기반 베이스라인과 어떻게 비교되는가?

주요 결과

• GEM은 최신 기법 베이스라인과 비교하여 태스크 전반의 평균 정확도가 동등하거나 우수하다.
• GEM은 backward transfer(망각)를 최소화하고 forward transfer는 무시되거나 양의 값을 보인다.
• GEM은 최적화를 변수 수가 파라미터 수가 아닌 작업 수와 같은 문제로 축소하여 효율적으로 확장된다.
• GEM은 CIFAR-100에서 최소한의 망각을 보이고 실험에서 유리한 backward transfer를 나타낸다.
• 벤치마크 데이터셋에서 GEM의 성능이 iid 다중 작업 학습에 거의 근접한다.