[논문 리뷰] Continual Learning in Generative Adversarial Nets

Ari Seff, Alex Beatson외 2명|arXiv (Cornell University)|2017. 05. 23.

Generative Adversarial Networks and Image Synthesis참고 문헌 12인용 수 98

한 줄 요약

논문은 G에 Elastic Weight Consolidation을 적용하여 GAN의 연속 학습 프레임워크를 도입하고, 이전에 배운 분포를 잃지 않으면서 새로운 데이터 분포를 순차적으로 학습할 수 있게 한다. MNIST와 SVHN에 대해 클래스-조건부 GAN으로 이를 시연한다.

ABSTRACT

Developments in deep generative models have allowed for tractable learning of high-dimensional data distributions. While the employed learning procedures typically assume that training data is drawn i.i.d. from the distribution of interest, it may be desirable to model distinct distributions which are observed sequentially, such as when different classes are encountered over time. Although conditional variations of deep generative models permit multiple distributions to be modeled by a single network in a disentangled fashion, they are susceptible to catastrophic forgetting when the distributions are encountered sequentially. In this paper, we adapt recent work in reducing catastrophic forgetting to the task of training generative adversarial networks on a sequence of distinct distributions, enabling continual generative modeling.

연구 동기 및 목표

• 일련의 분포 변화 하에서 심층 생성 모델의 연속 학습의 중요성 및 필요성을 제시한다.
• 망각 방지 기법을 GAN에 적용하여 처음부터 재학습하는 것을 피한다.
• 하나의 제너레이터가 시간이 지나면서 만나는 여러 분포를 과거의 모든 데이터를 저장하지 않고도 모델링할 수 있음을 보여준다.
• MNIST에서 MLP GAN, SVHN에서 DCGAN으로 접근법의 실용성을 입증하기 위해 평가한다.

제안 방법

• 피셔 정보로 이전 과제에 중요한 것으로 식별된 매개변수의 변화를 패널티하는 보강된 제너레이터 목표를 사용한다.
• 판별기의 출력에 기초한 경험적 피셔 정보를 계산하여 중요한 G 매개변수를 식별한다.
• 새로운 과제 훈련 시 G 매개변수에 EWC 유사 이차 패널티를 적용하여 이전 과제의 성능을 보존한다.
• 가능한 경우 각 분포를 고유한 조건 입력 y와 연관짓기 위해 조건부 GAN 설정으로 작동한다.
• 이 방법을 이전 데이터나 재생된 과거 데이터에 접근할 수 없는 일련의 과제로 확장 가능하다고 본다.

실험 결과

연구 질문

• RQ1 이전 데이터에 접근하지 못한 채로 GAN을 연쇄적으로 새로운 분포에 대해 학습하고 심각한 망각 없이 가능할까?
• RQ2 생성기에 EWC 스타일의 패널티를 적용하면 새로운 분포를 학습하는 동안 이전에 학습한 분포를 보존할 수 있는가?
• RQ3 이 접근법이 MNIST와 SVHN 같은 서로 다른 데이터셋에서 클래스-조건부 GAN에 대해 효과적인가?

주요 결과

• 피셔 기반 패널티를 포함한 보강된 목표가 표준 GAN 훈련에 비해 망각을 완화한다.
• MNIST에서 MLP GAN으로 이 방법은 새 숫자를 순차적으로 학습할 때 망각을 방지한다.
• SVHN에서 DCGAN으로 이 방법은 새로운 숫자를 추가하면서도 이전에 학습한 숫자를 보존한다.
• 패널티 파라미터의 람다 값 범위에 대해 강건성을 보이며 시각적 충실도와 다양성을 유지한다.
• 결과는 시간에 따라 과제가 바뀌더라도 (z,y)에서 데이터로의 안정적인 매핑을 유지하는 데 조건부 프레임워크가 도움이 된다고 시사한다.