[논문 리뷰] Memorization Precedes Generation: Learning Unsupervised GANs with Memory Networks

Youngjin Kim, Minjung Kim외 1명|arXiv (Cornell University)|2018. 02. 15.

Generative Adversarial Networks and Image Synthesis인용 수 20

한 줄 요약

논문은 구조적 불연속성과 적대적 훈련 중 판별기의 기억 상실을 완화하기 위해 학습 가능한 메모리 네트워크를 통합한 비지도 GAN 프레임워크인 memoryGAN을 제안한다. 생성기와 판별기가 공유 메모리를 접근할 수 있도록 함으로써 표현 학습과 훈련 안정성을 향상시키며, 최적화 기법 없이 CIFAR10에서 최고 수준의 inception 점수를 달성한다.

ABSTRACT

We propose an approach to address two issues that commonly occur during training of unsupervised GANs. First, since GANs use only a continuous latent distribution to embed multiple classes or clusters of data, they often do not correctly handle the structural discontinuity between disparate classes in a latent space. Second, discriminators of GANs easily forget about past generated samples by generators, incurring instability during adversarial training. We argue that these two infamous problems of unsupervised GAN training can be largely alleviated by a learnable memory network to which both generators and discriminators can access. Generators can effectively learn representation of training samples to understand underlying cluster distributions of data, which ease the structure discontinuity problem. At the same time, discriminators can better memorize clusters of previously generated samples, which mitigate the forgetting problem. We propose a novel end-to-end GAN model named memoryGAN, which involves a memory network that is unsupervisedly trainable and integrable to many existing GAN models. With evaluations on multiple datasets such as Fashion-MNIST, CelebA, CIFAR10, and Chairs, we show that our model is probabilistically interpretable, and generates realistic image samples of high visual fidelity. The memoryGAN also achieves the state-of-the-art inception scores over unsupervised GAN models on the CIFAR10 dataset, without any optimization tricks and weaker divergences.

연구 동기 및 목표

• 다양한 데이터 클러스터에 대해 단일 연속 잠재 분포를 사용함으로써 발생하는 비지도 GAN의 잠재 공간 내 구조적 불연속성을 해결하기 위해.
• 이전에 생성된 샘플에 대한 지식을 유지하지 못하는 판별기가 발생하는 기억 상실 문제를 완화하기 위해.
• 비지도 GAN에서 생성기와 판별기 성능을 향상시키기 위한 학습 가능한 엔드 투 엔드 훈련 가능한 메모리 네트워크를 설계하기 위해.
• 다양한 데이터셋에서 생성 샘플의 확률적 해석 가능성과 시각적 정확도를 향상시키기 위해.
• 최적화 기법이나 약한 발산 손실 함수에 의존하지 않고 CIFAR10에서 최고 성능을 달성하기 위해.

제안 방법

• 실제 및 생성된 데이터 샘플의 표현을 저장하고 검색할 수 있는 메모리 네트워크를 도입하며, 생성기와 판별기가 이를 공유한다.
• 생성기가 저장된 데이터 표현에 주의를 기울일 수 있도록 가능한 미분 가능한 메모리 읽기/쓰기 메커니즘을 사용한다.
• 과거에 생성된 샘플을 기억하는 메모리 보강 판별기를 사용하여 기억 상실을 줄이고 훈련을 안정화시킨다.
• 기존 GAN 아키텍처에 플러그인 모듈로 메모리 네트워크를 통합하여 다양한 GAN 변종과의 호환성을 확보한다.
• 표준 GAN 목표 함수를 사용하여 전체 모델을 엔드 투 엔드로 훈련하며, 메모리 업데이트는 역전파를 통해 수행한다.
• 메모리 기반 주의 메커니즘을 활용하여 생성기가 데이터 클러스터 분포의 본질을 더 잘 이해할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 공유 메모리 네트워크가 비지도 GAN의 잠재 공간 내 구조적 불연속성을 줄일 수 있는가?
• RQ2 메모리 보강 훈련이 적대적 훈련 중 판별기의 기억 상실을 어느 정도 줄일 수 있는가?
• RQ3 memoryGAN은 생성 샘플의 확률적 해석 가능성과 시각적 품질을 어떻게 향상시키는가?
• RQ4 memoryGAN은 아키텍처나 최적화 기법 없이도 표준 벤치마크인 CIFAR10에서 최고 성능을 달성할 수 있는가?
• RQ5 메모리 네트워크는 다양한 데이터셋에서 GAN 훈련의 안정성과 수렴성을 어떻게 향상시키는가?

주요 결과

• memoryGAN은 최적화 기법이나 약한 발산 손실 함수를 사용하지 않아도 비지도 GAN 모델 중에서 CIFAR10에서 최고 수준의 inception 점수를 달성한다.
• 모델은 Fashion-MNIST, CelebA, Chairs 데이터셋에서 높은 품질의 이미지를 생성하며, 시각적 품질이 향상된다.
• 메모리 네트워크 덕분에 더 나은 표현 학습이 가능해져 서로 다른 데이터 클러스터 간의 잠재 공간 불연속성이 감소한다.
• memoryGAN의 판별기는 기억 상실이 줄어들어 안정적인 훈련 동역학과 시간이 지남에 따라 일관된 성능을 보인다.
• 모델은 확률적 해석이 가능하며, 메모리 접근 패턴이 의미 있는 데이터 클러스터 구조를 반영한다.
• 메모리 네트워크는 다양한 GAN 아키텍처에 성공적으로 통합되어 광범위한 호환성과 효과성을 입증한다.