[논문 리뷰] Memory Replay GANs: learning to generate images from new categories without forgetting

Chenshen Wu, Luis Herranz외 4명|arXiv (Cornell University)|2018. 09. 06.

Generative Adversarial Networks and Image Synthesis참고 문헌 29인용 수 66

한 줄 요약

MeRGANs는 기억 재생(memory replay)을 활용하여 순차적인 GAN 학습에서 망각을 방지하고, 공동 학습 또는 재생 정렬로 MNIST, SVHN, LSUN 작업들에서 경쟁력 있고 더 안정적인 이미지 생성을 달성합니다.

ABSTRACT

Previous works on sequential learning address the problem of forgetting in discriminative models. In this paper we consider the case of generative models. In particular, we investigate generative adversarial networks (GANs) in the task of learning new categories in a sequential fashion. We first show that sequential fine tuning renders the network unable to properly generate images from previous categories (i.e. forgetting). Addressing this problem, we propose Memory Replay GANs (MeRGANs), a conditional GAN framework that integrates a memory replay generator. We study two methods to prevent forgetting by leveraging these replays, namely joint training with replay and replay alignment. Qualitative and quantitative experimental results in MNIST, SVHN and LSUN datasets show that our memory replay approach can generate competitive images while significantly mitigating the forgetting of previous categories.

연구 동기 및 목표

• 연속적인 범주 학습 하에서 생성 모델이 직면하는 재앙적 망각 문제를 동기를 부여한다.
• Memory Replay GANs (MeRGANs)를 제안하여 기억 재생 메커니즘을 통해 망각을 완화한다.
• 훈련 중 재생된 기억을 활용하기 위한 두 가지 전략—재생 데이터를 이용한 공동 학습과 재생 정렬—을 개발한다.
• 다양한 데이터셋에서 MeRGANs가 경쟁력 있는 이미지를 생성하면서 망각을 크게 줄임을 보여준다.

제안 방법

• 카테고리 조건화를 가진 조건부 GAN 프레임워크를 사용하여 잠재 벡터 z와 카테고리 c로부터 이미지를 생성한다.
• 과거 작업 샘플을 재사용하여 재생 데이터를 형성하는 기억 재생 제너레이터를 도입한다.
• 망각 방지 전략 두 가지: (a) 재생 데이터를 training 세트에 추가하여 재생 샘플로 공동 재훈련, (b) 재생 정렬로 현재 제너레이터가 재생 제너레이터와 동일한 이미지를 생성하도록 픽셀 단위 손실을 사용해 유도한다.
• GAN에 맞게 적응시킨 EWC 기반 기준선을 탐색한다.
• 최적화는 GAN 손실(WGAN-GP)과 보조 분류기가 사용될 때의 선택적 분류 손실을 결합한다.
• (선택적) 순차적 작업의 경우 연속 학습 설정을 시뮬레이션하기 위해 현재 작업 매개변수를 이전 작업으로부터 초기화한다.

실험 결과

연구 질문

• RQ1 GANs가 새로운 범주의 이미지를 생성하기 위해 순차적으로 학습될 때 재앙적 망각을 겪을 수 있는가?
• RQ2 과거 작업 샘플을 이용한 기억 재생 전략이 초기 범주의 생성 품질을 보존하는 데 도움이 되는가?
• RQ3 재생을 통한 공동 재훈련과 재생 정렬 중 어느 쪽이 GAN에서 더 안정적인 망각 완화를 제공하는가?
• RQ4 MeRGAN 변종이 숫자(MNIST, SVHN) 및 장면(LSUN) 생성 과제에서 품질과 보존 측면에서 어떻게 수행되는가?

주요 결과

• MeRGANs는 순차적 미세 조정 및 여러 기준선(EWC, DGR 등)에 비해 망각을 크게 완화한다.
• MNIST와 SVHN에서 MeRGANs는 많은 작업을 학습한 후에도 초기 숫자에 대한 분류 정확도를 SFT 및 EWC와 비교해 더 높게 유지하며, MeRGAN-JTR 및 MeRGAN-RA가 특히 SVHN에서 성능이 향상된다.
• LSUN에서 MeRGAN 변종은 기준선과 비교해 더 높은 정확도와 더 나은 FID 점수를 달성하여 작업 간 품질과 다양성이 보존됨을 시사한다.
• MeRGAN-RA는 LSUN과 같이 복잡한 데이터셋에서 종종 MeRGAN-JTR보다 더 높은 안정성과 약간 더 나은 유지력을 제공한다.
• 정량적으로, LSUN에서 네 번째 작업 후 MeRGAN-JTR과 MeRGAN-RA의 Acc.은 각각 79.19%와 81.03%, Rev acc.은 70.00%와 83.62%, FID는 49.69와 37.73이며, 반면 SFT와 EWC는 이 지표들에서 상당히 더 낮은 성능을 보인다.