[논문 리뷰] Your GAN is Secretly an Energy-based Model and You Should use Discriminator Driven Latent Sampling

Tong Che, Ruixiang Zhang외 5명|arXiv (Cornell University)|2020. 03. 12.

Generative Adversarial Networks and Image Synthesis인용 수 32

한 줄 요약

이 논문은 생성적 적대적 네트워크(GAN)의 생성 샘플 품질을 향상시키기 위해 생성기의 암묵적 밀도를 디스criminator의 로짓 점수를 에너지 함수로 사용해 재가중하는 Discriminator Driven Latent Sampling (DDLS)을 제안한다. 잠재공간에서 랭지에빈 MCMC를 수행함으로써, 추가 학습이나 파rameter 추가 없이 샘플 품질을 향상시키며, 사전 학습된 SN-GAN을 사용해 CIFAR-10에서 9.09의 새로운 SOTA(Inception Score)를 달성한다.

ABSTRACT

We show that the sum of the implicit generator log-density $\log p_g$ of a GAN with the logit score of the discriminator defines an energy function which yields the true data density when the generator is imperfect but the discriminator is optimal, thus making it possible to improve on the typical generator (with implicit density $p_g$). To make that practical, we show that sampling from this modified density can be achieved by sampling in latent space according to an energy-based model induced by the sum of the latent prior log-density and the discriminator output score. This can be achieved by running a Langevin MCMC in latent space and then applying the generator function, which we call Discriminator Driven Latent Sampling~(DDLS). We show that DDLS is highly efficient compared to previous methods which work in the high-dimensional pixel space and can be applied to improve on previously trained GANs of many types. We evaluate DDLS on both synthetic and real-world datasets qualitatively and quantitatively. On CIFAR-10, DDLS substantially improves the Inception Score of an off-the-shelf pre-trained SN-GAN~\citep{sngan} from $8.22$ to $9.09$ which is even comparable to the class-conditional BigGAN~\citep{biggan} model. This achieves a new state-of-the-art in unconditional image synthesis setting without introducing extra parameters or additional training.

연구 동기 및 목표

• 최적의 디스criminator가 존재하더라도 불완전한 생성기가 생성하는 열악한 샘플 문제를 해결하기 위해.
• 사전 학습된 GAN에 대한 재학습이나 파rameter 추가 없이 샘플 품질을 향상시키는 실용적인 방법을 개발하기 위해.
• 생성기 로그밀도와 디스criminator 로짓의 합이 샘플링에 사용할 수 있는 유효한 에너지 함수가 될 수 있음을 보여주기 위해.

제안 방법

• 논문은 최적의 디스criminator를 가질 경우 생성기의 로그밀도와 디스criminator의 로짓 점수의 합이 진짜 데이터 밀도를 근사하는 에너지 함수를 이룬다는 점을 규명한다.
• 잠재공간의 에너지 기반 모델을 제안하며, 사전분포의 로그밀도와 디스criminator 출력을 조합하여 랭지에빈 MCMC를 통한 효율적 샘플링을 가능하게 한다.
• DDLS는 에너지 함수를 사용해 잠재공간에서 MCMC 샘플링을 수행한 후, 생성기를 통해 샘플을 변환하여 개선된 이미지를 생성한다.
• 이 방법은 고차원 픽셀공간의 샘플링을 피함으로써 이전의 에너지 기반 접근법에 비해 계산적으로 효율적이다.
• 명시적 밀도 추정 없이도 데이터 가능성의 대체 지표로 디스criminator의 점수를 활용함으로써, 점수 기반 개선을 가능하게 한다.
• 이 방법은 모델에 종속되지 않으며, 사전 학습된 GAN이라면 어떤 것이라도 적용 가능하며, 오직 잠재공간에서의 추론 시 샘플링만 필요로 한다.

실험 결과

연구 질문

• RQ1 디스criminator의 출력을 사용해 생성 샘플을 향상시키는 의미 있는 에너지 함수를 정의할 수 있는가?
• RQ2 생성기의 재학습 없이도 잠재공간에서 개선된 에너지 기반 분포로부터 샘플링이 가능한가?
• RQ3 샘플 품질과 계산 효율성 측면에서 기존 방법과 비교해 DDLS는 어떠한가?
• RQ4 추가 학습 없이도 DDLS가 무조건적 이미지 생성 벤치마크에서 SOTA 성능을 달성할 수 있는가?
• RQ5 이 방법은 다양한 GAN 아키텍처와 데이터셋에 일반화 가능한가?

주요 결과

• DDLS는 사전 학습된 SN-GAN의 CIFAR-10에서 Inception Score를 8.22에서 9.09로 향상시켜 무조건적 이미지 합성 분야에서 새로운 SOTA를 달성한다.
• 이 향상은 생성기의 추가 학습이나 파rameter 업데이트 없이 달성된다.
• 이 방법은 매우 효율적이며, 고차원 픽셀공간이 아닌 잠재공간에서 작동함으로써 계산 비용을 감소시킨다.
• DDLS는 다양한 GAN 유형에 적용 가능하며, 합성 및 실제 데이터셋 모두에서 일관된 정량적·정성적 향상을 보인다.
• 이 방법은 GAN이 디스criminator를 통해 암묵적으로 에너지 함수를 정의할 수 있음을 보여주며, 생성 샘플의 체계적인 개선이 가능하다는 점을 입증한다.