[논문 리뷰] Diffusion-GAN: Training GANs with Diffusion

Zhendong Wang, Huangjie Zheng외 3명|arXiv (Cornell University)|2022. 06. 05.

Generative Adversarial Networks and Image Synthesis인용 수 65

한 줄 요약

Diffusion-GAN은 적응형 순방향 확산 프로세스와 타임스텝 의존 판별기를 통해 가우시안-혼합 인스턴스 노이즈를 주입하여 GAN을 학습시키고, 안정적인 학습과 이미지 선명도 및 다양성 향상을 가능하게 한다.

ABSTRACT

Generative adversarial networks (GANs) are challenging to train stably, and a promising remedy of injecting instance noise into the discriminator input has not been very effective in practice. In this paper, we propose Diffusion-GAN, a novel GAN framework that leverages a forward diffusion chain to generate Gaussian-mixture distributed instance noise. Diffusion-GAN consists of three components, including an adaptive diffusion process, a diffusion timestep-dependent discriminator, and a generator. Both the observed and generated data are diffused by the same adaptive diffusion process. At each diffusion timestep, there is a different noise-to-data ratio and the timestep-dependent discriminator learns to distinguish the diffused real data from the diffused generated data. The generator learns from the discriminator's feedback by backpropagating through the forward diffusion chain, whose length is adaptively adjusted to balance the noise and data levels. We theoretically show that the discriminator's timestep-dependent strategy gives consistent and helpful guidance to the generator, enabling it to match the true data distribution. We demonstrate the advantages of Diffusion-GAN over strong GAN baselines on various datasets, showing that it can produce more realistic images with higher stability and data efficiency than state-of-the-art GANs.

연구 동기 및 목표

• 확산 기반 인스턴스 노이즈를 도입하여 GAN 학습의 불안정성과 모드 붕괴를 동기부여하고 해결한다.
• 실제 데이터와 생성된 데이터에 가우시안-혼합 노이즈를 제공하는 미분 가능한 순방향 확산 메커니즘을 제안한다.
• 노이즈와 데이터 충실도 간의 균형을 맞추기 위해 확산 타임스텝 전반에서 작동하는 판별기와 적응형 확산 스케줄을 개발한다.
• 학습 동역학을 이론적으로 분석하고 판별기로부터의 생성기로의 일관된 가이드를 보여준다.
• 다양한 데이터 세트와 설정에서 강력한 GAN 기준선 대비 향상된 충실도와 다양성을 실험적으로 입증한다.

제안 방법

• 실제 샘플과 생성 샘플 모두에 가우시안-혼합 노이즈를 생성하기 위해 순방향 확산 체인을 사용한다.
• 확산 단계에 의존하는 판별자 D(y, t)를 정의하여 확산된 데이터에서 작동하게 한다.
• 생성자 G를 업데이트하기 위해 판별기로부터의 그래디언트를 순방향 확산 체인을 통해 역전파한다.
• 확산된 실제 분포와 생성 분포를 정렬하고 JS-발산과 관련된 미분 가능한 최소-최대 목표를 공식화한다.
• 노이즈와 데이터 충실도 간의 균형을 맞추기 위해 최대 확산 단계 T에 대한 자기 주도적 스케줄이 있는 적응형 확산을 채택한다.
• 도메인에 구애받지 않는 확산 기반 증강을 제공하고 누출되지 않는 증강 보장을 보여준다.

실험 결과

연구 질문

• RQ1 확산 기반 인스턴스 노이즈가 GAN 학습을 안정화하고 판별기의 과적합을 방지할 수 있는가?
• RQ2 Diffusion-GAN이 다양한 데이터셋에 걸쳐 강력한 GAN 기준선보다 이미지 충실도와 다양성(FID 및 Recall)을 향상시키는가?
• RQ3 확산 기반 증강이 도메인에 구애받지 않으며 데이터 효율적인 GAN 학습에 도움이 되는가?
• RQ4 적응형 확산 스케줄이 생성기에 신뢰할 수하고 그래디언트가 풍부한 가이드를 제공하는가?

주요 결과

• Diffusion-GAN은 StyleGAN2, ProjectedGAN, InsGen 등 최첨단 기준선에 비해 다수의 데이터세트에서 안정성과 생성 품질을 향상시킨다.
• 확산 기반 증강은 Recall(다양성)을 더 높이고 종종 FID(충실도)도 더 나은 편이며, 데이터 효율성의 이점을 가진다.
• 이 접근법은 고차원 및 저차원 데이터 모두에서 효과적이며 도메인에 구애받지 않는 특성 공간을 포함한다.
• 적응형 확산(T와 t를 변화시키는)이 판별기가 도전받되 과부하되지 않도록 하여 유용한 학습 신호를 보존한다.
• 제한된 데이터에서도 Diffusion-GAN은 강력한 데이터 효율적 기준선보다 생성 품질을 향상시킨다.
• 메모리 및 학습 시간 비용은 기본 GAN과 비슷하며, 일부 시나리오에서 더 낮은 오버헤드를 보인다.