[논문 리뷰] Continual Learning with Deep Generative Replay

Hanul Shin, Jung Kwon Lee외 2명|arXiv (Cornell University)|2017. 05. 24.

Domain Adaptation and Few-Shot Learning참고 문헌 32인용 수 202

한 줄 요약

깊은 생성형 재생(Deep Generative Replay, DGR)을 소개합니다. 이는 상실된 과거 데이터를 저장하지 않고도 새로운 작업을 학습하기 위해 생성된 과거 데이터를 재생하는 이중 모델 프레임워크(생성기와 해결기)로, 재앙적 망각을 완화합니다.

ABSTRACT

Attempts to train a comprehensive artificial intelligence capable of solving multiple tasks have been impeded by a chronic problem called catastrophic forgetting. Although simply replaying all previous data alleviates the problem, it requires large memory and even worse, often infeasible in real world applications where the access to past data is limited. Inspired by the generative nature of hippocampus as a short-term memory system in primate brain, we propose the Deep Generative Replay, a novel framework with a cooperative dual model architecture consisting of a deep generative model ("generator") and a task solving model ("solver"). With only these two models, training data for previous tasks can easily be sampled and interleaved with those for a new task. We test our methods in several sequential learning settings involving image classification tasks.

연구 동기 및 목표

• 심층 네트워크의 순차적/과제 학습에서 재앙적 망각을 동기 부여하고 해결합니다.
• 생성기를 사용하여 과거 데이터 분포를 모방함으로써 경험 재생의 메모리 효율적인 대안을 제안합니다.
• 원래의 과거 데이터 세트를 접근하지 않고도 작업과 도메인 간의 지식 이전을 가능하게 합니다.
• 생성형 재생이 기존의 연속 학습 접근법 및 아키텍처와의 호환성을 입증합니다.

제안 방법

• 학자를 생성기–해결기 쌍으로 정의하며, 이는 새로운 작업을 학습하기 위해 생성된 과거 입력과 해당 과거 작업에 대한 타깃을 재생합니다.
• 생성기를 GAN(GANs) 프레임워크 내에서 학습시켜 과거 데이터 분포를 모방합니다.
• 해결기를 실제 현재 작업 데이터와 이전 해결기로부터의 타깃이 포함된 재생 입력의 혼합물에 대해 학습시킵니다.
• 현재 작업 손실과 재생 손실을 결합한 학습 손실과 과거 데이터 분포를 반영하는 테스트 시 손실을 형식화합니다.
• 학자의 순차적 학습은 최근 복제본을 참조하여 단일 학자를 업데이트하는 것과 동등하다는 것을 보여주며, 과거 데이터 저장 없이도 연속 학습을 가능하게 합니다.

실험 결과

연구 질문

• RQ1 생성적 재생이 과거 데이터를 저장하지 않고도 일련의 작업을 학습할 때 재앙적 망각을 방지할 수 있나요?
• RQ2 생성 모델의 품질이 작업 및 도메인 간 지속적 학습 성능에 어떤 영향을 미치나요?
• RQ3 생성적 재생이 다른 연속 학습 방법(예: LwF) 및 아키텍처와 호환되나요?
• RQ4 이 방법이 서로 다른 도메인 간 또는 관련 도메인 간의 학습은 물론 실제 과거 데이터를 다시 방문하지 않고도 새 클래스까지 다룰 수 있나요?

주요 결과

• 생성적 재생은 새 작업을 학습하는 동안 이전 작업에서의 성능을 유지하고, 새 작업만 학습하는 것에 비해 망각을 줄입니다.
• 이 접근법은 생성된 과거 데이터를 재생함으로써 관련 도메인 및 비연속 도메인 간의 학습을 지원하고 MNIST와 SVHN 등의 도메인 간 지식을 보존합니다.
• 생성형 재생이 추가된 LwF(LwF-GR)는 특정 도메인 전이 설정에서 LwF 단독보다 망각을 더 효과적으로 완화합니다.
• 이 방법은 입력 분포와 출력 분포를 재구성하여 새로운 클래스를 학습하는 데 작동하며, 모든 관찰된 클래스에서 균형 잡힌 성능을 가능하게 합니다.
• 성능은 생성기의 품질에 따라 달라지지만 생성기와 해결기의 공동 최적화는 작업 간 강건한 연속 학습을 달성합니다.